كيف نبلغ عن العمل الميداني ومعدلات الاستجابة
معدل الاستجابة وحده قد يخفي من لم نصل إليهم. ولكل دراسة نعرض المسار الكامل من الأشخاص الذين أخذناهم في العينة إلى المقابلات التي احتفظنا بها.
لماذا ننشر هذا
نحن شركة حديثة، ونفضل أن تتحققوا من عملنا بدلا من الأخذ به على الثقة. كل دراسة ننفذها تأتي مع تقرير عمل ميداني يتيح للعميل أن يرى عدد من أخذناهم في العينة، وعدد من تمكنا من الوصول إليهم، وعدد من أجاب، وما حدث لكل من لم يجب. ي بنى التقرير من سجلاتنا أثناء سير العمل الميداني، لذا يتغير يوما بيوم حتى ت غلق الدراسة.
ما الذي يتضمنه كل تقرير
يبدأ التقرير بقمع: تم أخذ العينة، وتمت الدعوة، وتم التسليم، وتم الفتح أو الإجابة، وتم البدء، وتم الإكمال، وصالح. ثم يفصل الأرقام نفسها حسب القناة والمنطقة واليوم. وبعد ذلك يعطي النتيجة النهائية لكل حالة في العينة، ومعدلات الاستجابة والتعاون والرفض والتواصل، والقواعد التي اتبعناها عند محاولة الوصول إلى الأشخاص (عدد المحاولات، والفاصل بينها، وفي أي نافذة زمنية)، وملاحظة قصيرة عن كيفية قراءة كل ذلك. يرى العملاء الإجماليات والمجموعات. ويرى المسؤولون لدينا التقرير نفسه مع عرض كل مجموعة.
يرتبط كل تقرير أيضا بسجل اتصالات، وهو ملف CSV فيه صف لكل حالة في العينة. يحمل الصف رقم حالة مجهولا، والقناة، ووقت كل محاولة، وحالة التسليم، والنتيجة النهائية. لا يحتوي على أسماء أو أرقام هواتف أو عناوين بريد إلكتروني، وأرقام الحالات مصنوعة بمفتاح سري نحتفظ به، فلا يمكن تتبعها إلى شخص. نسجل كل تنزيل للسجل.
كيف نعرف أن الرسالة وصلت
معظم ما يفرق بين معدل استجابة ضعيف وآخر قوي هو ما إذا كانت الدعوة قد وصلت إلى الشخص. نحتفظ بسجل حالة لكل دعوة: في الانتظار، أو مرسلة، أو تم التسليم، أو فتحت أو قرئت، أو فشلت مع ذكر السبب. وما يمكننا معرفته يعتمد على القناة.
- WhatsApp. تخبرنا Meta عند إرسال الرسالة وتسليمها وقراءتها وعند فشلها. ونسجل كل ذلك.
- البريد الإلكتروني. يخبرنا مزود البريد الإلكتروني لدينا عند تسليم الرسالة أو ارتدادها أو وسمها كبريد مزعج أو فتحها. يعتمد تتبع الفتح على برنامج البريد لدى القارئ، لذا فإن رسالة غير مفتوحة ليست دليلا على أن أحدا لم يقرأها.
- رسالة نصية قصيرة. ترسل شبكة الهاتف المحمول تقرير تسليم عبر مزود خدمة الرسائل القصيرة لدينا. بعض الشبكات تتأخر في إرسال هذه التقارير، وقليل منها لا يرسلها أبدا.
- تيليغرام. لا ترسل Telegram تقارير تسليم. إذا قبلت Telegram الرسالة، نحتسبها مسلّمة ونحدد الأساس بأنه قبول من Telegram. وإذا كان الشخص قد حظر البوت أو أغلق حسابه، ترفض Telegram الرسالة ونسجل ذلك.
- الهاتف. يسجل نظام الاتصال كل محاولة اتصال ويسجل الباحث كيف انتهى كل اتصال. نستورد تلك السجلات كما هي ولا نغير فيها شيئا.
الشخص الذي يفتح رابط الاستبيان يعد أيضا فاتحا، أيا كانت القناة التي وصلت منها الدعوة. وتتجاهل المعاينات التلقائية للروابط التي تجريها تطبيقات المراسلة وأدوات فحص الأمان، لأنها ليست الشخص.
رموز تصنيف AAPOR
تنتهي كل حالة معاينة بتصنيف نهائي واحد فقط من التعريفات المعيارية للجمعية الأمريكية لأبحاث الرأي العام (AAPOR). وعندما تكون للحالة عدة نتائج، مثلا ثلاث مكالمات إلى الرقم نفسه، يُحتفظ بالأكثر إفادة: المقابلة أولا، ثم غير المؤهل المعروف، ثم ما فعله شخص مؤهل، ثم المجهول. نستخدم الرموز أدناه.
| الرمز | النتيجة | المجموعة | ما معناه |
|---|---|---|---|
| 1.1 | مقابلة مكتملة | مقابلة | مقابلة صحيحة ومكتملة. |
| 1.2 | مقابلة جزئية | جزئي | تمت الإجابة عن جزء كاف من الاستبيان ليكون صالحا للاستخدام، لكن ليس كله. |
| 2.11 | رفض | الرفض والانقطاع | قال الشخص لا، أو طلب منا التوقف عن التواصل معه. |
| 2.12 | الانقطاع | الرفض والانقطاع | بدأ الشخص ثم توقف قبل النهاية. |
| 2.20 | غير تواصلي | غير تواصلي | شخص مؤهل لم نتمكن من الوصول إليه، أو لم يفتح الدعوة قط. |
| 2.33 | مشكلة اللغة | غير مؤهل آخر غير مشمول بالمقابلة | وصلنا إلى الشخص لكن لم نتمكن من مقابلته بلغة يتحدثها. |
| 2.35 | غير مؤهل آخر غير مشمول بالمقابلة | غير مؤهل آخر غير مشمول بالمقابلة | وصلنا إلى الشخص، لكن لم تنتج عن ذلك مقابلة صالحة للاستخدام. |
| 3.11 | لم يُجر أو يُعمل عليه | غير معروف إذا تم الوصول | مختار، لكن لم يُجرَّب قط (لا توجد قناة عاملة، أو لم يُتوصل إليه بعد في فترة العمل الميداني). |
| 3.12 | مشغول دائما | غير معروف إذا تم الوصول | كل محاولة اتصال وجدت الخط مشغولا. |
| 3.13 | لا إجابة | غير معروف إذا تم الوصول | كل محاولة اتصال رنت دون رد. |
| 3.14 | جهاز الرد الآلي، جهة اتصال غير معروفة | غير معروف إذا تم الوصول | لم يصلنا سوى بريد صوتي، لذا لا نعرف من يحمل الرقم. |
| 3.17 | لم يكتمل أي استبيان فرز | غير معروف إذا تم الوصول | أجاب أحدهم لكننا لم نتحقق قط مما إذا كان مؤهلا. |
| 3.90 | غير معروف، أخرى | غير معروف، أخرى | أُرسلت الدعوة، لكن لا شيء يؤكد وصولها ولم يصل أي رد. |
| 4.31 | رقم غير عامل | غير مؤهل | الرقم غير قيد الخدمة. |
| 4.70 | لا يوجد مشارك في الاستبيان مؤهل | غير مؤهل | الشخص الذي جرى الوصول إليه غير مؤهل (مثل قاصر). |
| 4.80 | اكتملت الحصة | غير مؤهل | كان الشخص مؤهلا، لكن خانة حصته كانت ممتلئة بالفعل. |
| 4.90 | غير مؤهل، سبب آخر | غير مؤهل | رقم خاطئ، أو سبب آخر لعدم وجود الحالة في المجتمع المستهدف أصلا. |
كيف تتوافق سجلاتنا مع تلك الرموز
مقابلات هاتفية
يسجل نظام الاتصال نتيجة واحدة لكل مكالمة. ونحن نصنفها على هذا النحو.
| ما الذي سجله القائم بالمقابلة | رمز AAPOR | النتيجة |
|---|---|---|
| مكتمل | 1.1 | مقابلة مكتملة |
| رفض | 2.11 | رفض |
| غير مهتم | 2.11 | رفض |
| لا تتصل | 2.11 | رفض |
| طلب عدم الإزعاج | 2.11 | رفض |
| انقطاع جزئي | 2.12 | الانقطاع |
| تمت جدولة الاتصال | 2.20 | غير تواصلي |
| حاجز اللغة | 2.33 | مشكلة اللغة |
| صانع قرار على تواصل | 2.35 | غير مؤهل آخر غير مشمول بالمقابلة |
| مشغول | 3.12 | مشغول دائما |
| لا إجابة | 3.13 | لا إجابة |
| رسالة صوتية متروكة | 3.14 | جهاز الرد الآلي، جهة اتصال غير معروفة |
| حاجب على تواصل | 3.17 | لم يكتمل أي استبيان فرز |
| غير قائم بالخدمة | 4.31 | رقم غير عامل |
| غير مؤهل دون 18 | 4.70 | لا يوجد مشارك في الاستبيان مؤهل |
| اكتملت الحصة | 4.80 | اكتملت الحصة |
| رقم خاطئ | 4.90 | غير مؤهل، سبب آخر |
الرقم الذي تم طلبه دون تسجيل نتيجة له يعد بلا إجابة. والرقم الذي سلم إلى محاور ولم يطلب قط يعد غير محاول. وتولد الأرقام بالطلب العشوائي للأرقام، لذا لا يؤدي معظمها إلى شخص ويبقى كثير منها في المجموعات غير المعروفة. وقد صممت المعدلات أدناه للتعامل مع ذلك.
دعوات عبر الإنترنت إلى مجموعة المشاركين
الأشخاص الذين ندعوهم عبر الإنترنت هم أعضاء حاليون في مجموعة المشاركين، بالغون موثقون وافقوا على المشاركة، لذلك نعلم أنهم مؤهلون. ما لا نعرفه دائما هو ما إذا كانت الدعوة وصلت إليهم.
- المقابلة الصالحة الكاملة هي الرمز 1.1. والمقابلة المكتملة التي تزيلها فحوص الجودة لدينا هي الرمز 2.35.
- من بدأ ولم يكمل هو انقطاع، رمزه 2.12. إذا احتفظنا بإجاباته الجزئية وغطى قدرا كافيا من الاستبيان، فهو مقابلة جزئية، رمزها 1.2.
- من رد بكلمة STOP هو رفض، رمزه 2.11.
- من فتح الدعوة ولم يشارك رمزه 2.35، لأننا وصلنا إليه ولم نحصل على مقابلة صالحة.
- الدعوة التي سلمت لكن لم تفتح قط، أو التي فشل تسليمها، هي عدم تواصل، الرمز 2.20.
- الدعوة التي أرسلت لكن ليس لها تقرير تسليم ولا رد هي غير معروفة، الرمز 3.90. لا يمكننا تحديد ما إذا وصلت.
- عضو اللجنة الذي اختير للدراسة لكن لم تكن لديه قناة عاملة يرمز له بالرمز 3.11، غير محاول.
لأن هذه لجنة مشاركين وليست عينة عشوائية من البلد، فإن معدل الاستجابة هنا يصف مدى مشاركة من دُعي من أعضاء اللجنة. وهو لا يصف مدى تمثيل اللجنة للسكان. نوضح ذلك في كل تقرير.
الأسعار
نحسب كل معدل بالصيغ الواردة في AAPOR Standard Definitions. I المقابلات المكتملة، وP المقابلات الجزئية، وR الرفض والانقطاع، وNC عدم الاتصال، وO المقابلات غير المنفذة الأخرى المؤهلة، وUH حالات الاتصال غير المعروف، وUO المجهولات الأخرى.
| المعدل | الصيغة | بعبارات بسيطة |
|---|---|---|
| RR1 | I / ((I+P) + (R+NC+O) + (UH+UO)) | المقابلات المكتملة من كل حالة كان يمكن أن تكون مؤهلة. أدق معدل استجابة. |
| RR2 | (I+P) / ((I+P) + (R+NC+O) + (UH+UO)) | مثل RR1، لكن المقابلات الجزئية تُحتسب أيضا. |
| RR3 | I / ((I+P) + (R+NC+O) + e(UH+UO)) | مثل RR1، لكن لا تُحتسب إلا النسبة المقدرة المؤهلة من الحالات غير المعروفة. |
| RR4 | (I+P) / ((I+P) + (R+NC+O) + e(UH+UO)) | مثل RR3، مع احتساب المقابلات الجزئية. |
| RR5 | I / ((I+P) + (R+NC+O)) | المقابلات المكتملة من الحالات المعروفة بأنها مؤهلة. يفترض أن كل حالة غير معروفة غير مؤهلة، لذا فهو أعلى معدل. |
| RR6 | (I+P) / ((I+P) + (R+NC+O)) | مثل RR5، مع احتساب المقابلات الجزئية. |
| COOP1 | I / ((I+P) + R + O) | من بين المؤهلين الذين وصلنا إليهم فعلا، كم شخصا أعطى مقابلة كاملة. |
| COOP2 | (I+P) / ((I+P) + R + O) | مثل COOP1، مع احتساب المقابلات الجزئية. |
| COOP3 | I / ((I+P) + R) | من بين الأشخاص الذين سئلوا، كم شخصا أعطى مقابلة كاملة. |
| COOP4 | (I+P) / ((I+P) + R) | مثل COOP3، مع احتساب المقابلات الجزئية. |
| REF1 | R / ((I+P) + (R+NC+O) + (UH+UO)) | الرفض والانقطاع من كل حالة كان يمكن أن تكون مؤهلة. |
| REF2 | R / ((I+P) + (R+NC+O) + e(UH+UO)) | مثل REF1، باستخدام النسبة المقدرة المؤهلة من الحالات غير المعروفة. |
| REF3 | R / ((I+P) + (R+NC+O)) | الرفض والانقطاع من الحالات المعروفة بأنها مؤهلة. |
| CON1 | ((I+P) + R + O) / ((I+P) + (R+NC+O) + (UH+UO)) | كم مرة وصلنا إلى شخص، من كل حالة كان يمكن أن تكون مؤهلة. |
| CON2 | ((I+P) + R + O) / ((I+P) + (R+NC+O) + e(UH+UO)) | مثل CON1، باستخدام النسبة المقدرة المؤهلة من الحالات غير المعروفة. |
| CON3 | ((I+P) + R + O) / ((I+P) + (R+NC+O)) | كم مرة وصلنا إلى شخص، من الحالات المعروفة أنها مؤهلة. |
تقدير الأهلية غير المعروفة، e
حين لا نعرف ما إذا كانت حالة مؤهلة، مثل رقم يرن دائما دون إجابة، يتعين على معدل الاستجابة أن يفترض افتراضا. تفترض RR1 وRR2 وRR5 وRR6 افتراضا ثابتا. تعامل RR1 وRR2 كل حالة غير معروفة على أنها مؤهلة. وتعامل RR5 وRR6 كل حالة غير معروفة على أنها غير مؤهلة. أما المعدلات المميزة بحرف e فتقع بين هذين الطرفين. فهي تحتسب حصة فقط من الحالات غير المعروفة، وتلك الحصة هي e.
نحسب e من الحالات التي نعرفها فعلا: عدد الحالات المؤهلة مقسوما على عدد الحالات المؤهلة وغير المؤهلة معا. ويعرض التقرير القيمة التي استخدمها. وإذا لم تكن لدينا أي حالة معروفة الأهلية بعد، فلا يمكن تقدير e وتظهر المعدلات التي تحتاجها على أنها غير متاحة.
ما الذي لا تستطيع الأرقام إخبارك به
معدل الاستجابة المرتفع لا يجعل المسح دقيقا، والمنخفض لا يجعله خاطئا. فهو يخبرك بمدى اعتماد النتائج على العينة وبمقدار ما اضطررنا إلى افتراضه عن الباقي. ويرد وصف أخذ العينات والترجيح وهامش الخطأ على صفحة الطرق الرئيسية. وأثناء فتح العمل الميداني، يعرض التقرير الوضع حتى الآن، وتحمل الحالات التي لا تزال قائمة النتيجة التي عليها في تلك اللحظة. وتصبح النتائج نهائية عند إغلاق الدراسة.
المصدر
الجمعية الأمريكية لأبحاث الرأي العام. التعريفات المعيارية: التصنيفات النهائية لرموز الحالات ومعدلات النتائج في الاستبيانات. الطبعة 10، 2023. متاح على aapor.org/standards-and-ethics/standard-definitions.
إذا لاحظت خطأ في طريقة تطبيقنا له، فاكتب إلى corrections@pollsafrica.com وسنصححه.