Comment nous rendons compte du travail de terrain et des taux de réponse

Pourquoi nous publions ceci

Nous sommes une jeune entreprise et nous préférons que vous vérifiiez notre travail plutôt que de nous faire confiance. Chaque étude que nous menons comprend un rapport de terrain qui permet au client de voir combien de personnes nous avons échantillonnées, combien nous avons réussi à joindre, combien ont répondu et ce qui est arrivé à toutes les personnes qui n’ont pas répondu. Le rapport est construit à partir de nos propres enregistrements au fil du terrain, il change donc jour après jour jusqu’à la clôture de l’étude.

Ce que contient chaque rapport

Le rapport commence par un entonnoir : échantillonnés, invités, distribués, ouverts ou répondus, commencés, terminés et valides. Il ventile ensuite ces mêmes chiffres par canal, par région et par jour. Après cela, il donne le résultat final de chaque cas échantillonné, les taux standard de réponse, de coopération, de refus et de contact, les règles que nous avons suivies pour tenter de joindre les personnes (combien de tentatives, à quel intervalle, dans quelle fenêtre), et une brève note expliquant comment lire l’ensemble. Les clients voient les totaux et les groupes. Les administrateurs de notre côté voient le même rapport avec chaque groupe affiché.

Chaque rapport renvoie également à un journal de contact, un fichier CSV avec une ligne pour chaque cas échantillonné. La ligne contient un numéro de cas anonyme, le canal, l’heure de chaque tentative, l’état de livraison et le résultat final. Il ne contient ni noms, ni numéros de téléphone, ni adresses e-mail, et les numéros de cas sont générés avec une clé secrète que nous conservons, afin qu’ils ne puissent pas être reliés à une personne. Nous enregistrons chaque téléchargement du journal.

Comment nous savons qu’un message est arrivé

La plupart de ce qui distingue un faible taux de réponse d’un taux élevé est de savoir si l’invitation est bien parvenue à la personne. Nous conservons un historique de statut pour chaque invitation : en file d’attente, envoyée, remise, ouverte ou lue, ou échouée avec le motif. Ce que nous pouvons savoir dépend du canal.

WhatsApp. Meta nous indique quand un message est envoyé, remis et lu, et quand il échoue. Nous enregistrons chacun de ces événements.
E-mail. Notre fournisseur de messagerie nous indique quand un message est distribué, rebondit, est signalé comme spam ou est ouvert. Le suivi de l’ouverture dépend du logiciel de messagerie du lecteur ; un courriel non ouvert ne prouve donc pas que personne ne l’a lu.
SMS. Le réseau mobile envoie un rapport de remise via notre fournisseur SMS. Certains réseaux tardent à les envoyer, et quelques-uns ne le font jamais.
Telegram. Telegram n’envoie aucun rapport de remise. Si Telegram accepte le message, nous le comptons comme remis et indiquons comme base l’acceptation par Telegram. Si la personne a bloqué le bot ou fermé son compte, Telegram le refuse et nous l’enregistrons.
Téléphone. Le composeur enregistre chaque tentative d’appel et l’enquêteur consigne l’issue de chaque appel. Nous importons ces enregistrements tels quels et n’y modifions rien.

Une personne qui ouvre le lien de l’enquête compte également comme une ouverture, quel que soit le canal par lequel l’invitation est arrivée. Les aperçus automatiques de lien générés par les applications de messagerie et les scanners de sécurité sont ignorés, car ils ne sont pas la personne.

Codes de disposition AAPOR

Chaque cas échantillonné aboutit à exactement une issue finale selon les définitions standard de l’American Association for Public Opinion Research (AAPOR). Lorsqu’un cas a plusieurs issues, par exemple trois appels vers le même numéro, l’issue la plus informative est conservée : un entretien d’abord, puis un cas inéligible connu, ensuite ce qu’une personne éligible a fait, puis les cas inconnus. Nous utilisons les codes ci-dessous.

Code	Résultat	Groupe	Ce que cela signifie
1.1	Entretien complet	Entretien	Un entretien valide et complet.
1.2	Entretien partiel	Partiel	Le questionnaire a été suffisamment rempli pour être utilisable, mais pas entièrement.
2.11	Refus	Refus et abandon	La personne a refusé, ou nous a demandé de cesser de la contacter.
2.12	Abandon	Refus et abandon	La personne a commencé puis s’est arrêtée avant la fin.
2.20	Non-contact	Non-contact	Une personne admissible que nous n’avons pas pu joindre, ou qui n’a jamais ouvert l’invitation.
2.33	Problème de langue	Autre non-interview admissible	Nous avons joint la personne mais n’avons pas pu l’interroger dans une langue qu’elle parle.
2.35	Autre non-interview admissible	Autre non-interview admissible	Nous avons joint la personne, mais aucun entretien utilisable n’en est résulté.
3.11	Non tenté ou non abouti	Inconnu si atteint	Sélectionné, mais jamais essayé (aucun canal opérationnel, ou pas encore atteint pendant la période de terrain).
3.12	Toujours occupé	Inconnu si atteint	Chaque tentative d’appel a trouvé la ligne occupée.
3.13	Pas de réponse	Inconnu si atteint	Chaque tentative d’appel a sonné sans réponse.
3.14	Répondeur, contact inconnu	Inconnu si atteint	Seule une messagerie vocale a été jointe, nous ne savons donc pas qui détient le numéro.
3.17	Aucun questionnaire de sélection terminé	Inconnu si atteint	Quelqu’un a répondu, mais nous n’avons jamais établi si la personne était éligible.
3.90	Inconnu, autre	Inconnu, autre	L’invitation a été envoyée, mais rien ne confirme qu’elle est arrivée et rien n’est revenu.
4.31	Numéro hors service	Non éligible	Le numéro n’est pas en service.
4.70	Aucun répondant éligible	Non éligible	La personne jointe n’était pas éligible (par exemple un mineur).
4.80	Quota atteint	Non éligible	La personne était éligible, mais sa cellule de quota était déjà pleine.
4.90	Non éligible, autre	Non éligible	Un mauvais numéro, ou une autre raison pour laquelle le cas n’a jamais appartenu à la population cible.

Comment nos données correspondent à ces codes

Entretiens téléphoniques

Le composeur enregistre un résultat pour chaque appel. Nous les mappons comme suit.

Ce que l’enquêteur a enregistré	Code AAPOR	Résultat
terminé	1.1	Entretien complet
refus	2.11	Refus
pas intéressé	2.11	Refus
ne pas appeler	2.11	Refus
demande DND	2.11	Refus
abandon partiel	2.12	Abandon
rappel programmé	2.20	Non-contact
barrière linguistique	2.33	Problème de langue
décideur connecté	2.35	Autre non-interview admissible
occupé	3.12	Toujours occupé
pas de réponse	3.13	Pas de réponse
message vocal laissé	3.14	Répondeur, contact inconnu
gardien connecté	3.17	Aucun questionnaire de sélection terminé
hors service	4.31	Numéro hors service
inéligible avant 18 ans	4.70	Aucun répondant éligible
quota atteint	4.80	Quota atteint
mauvais numéro	4.90	Non éligible, autre

Un numéro composé mais sans résultat enregistré compte comme sans réponse. Un numéro transmis à un enquêteur mais jamais composé compte comme non tenté. Les numéros sont générés par composition aléatoire, donc la plupart ne mènent jamais à une personne et beaucoup restent dans les groupes inconnus. Les taux ci-dessous sont construits pour en tenir compte.

Invitations en ligne au panel

Les personnes que nous invitons en ligne sont déjà membres d’un panel, des adultes vérifiés qui ont accepté de participer, nous savons donc qu’elles sont éligibles. Ce que nous ne savons pas toujours, c’est si l’invitation leur est parvenue.

Un entretien valide et complet est le code 1.1. Un entretien complet retiré par nos contrôles de qualité est le code 2.35.
Une personne qui a commencé sans terminer est un abandon, code 2.12. Si nous avons conservé ses réponses partielles et qu’elles couvrent une partie suffisante du questionnaire, il s’agit d’un entretien partiel, code 1.2.
Une personne qui a répondu STOP est un refus, code 2.11.
Une personne qui a ouvert l’invitation mais n’a pas participé reçoit le code 2.35, car nous l’avons jointe sans obtenir d’entretien exploitable.
Une invitation qui a été délivrée mais jamais ouverte, ou dont la délivrance a échoué, est un non-contact, code 2.20.
Une invitation qui a été envoyée mais qui n’a pas de rapport de remise et pas de réponse est inconnue, code 3.90. Nous ne pouvons pas savoir si elle est arrivée.
Un membre du panel sélectionné pour l’étude mais qui n’avait aucun canal fonctionnel est codé 3.11, non tenté

Comme il s’agit d’un panel et non d’un échantillon aléatoire du pays, le taux de réponse décrit ici la part du panel invité qui a participé. Il ne décrit pas dans quelle mesure le panel est représentatif de la population. Nous l’indiquons dans chaque rapport.

Les taux

Nous calculons chaque taux avec les formules des définitions normalisées de l’AAPOR. I désigne les entretiens complets, P les entretiens partiels, R les refus et abandons, NC les non-contacts, O les autres non-entretiens éligibles, UH les cas de contact inconnu et UO les autres inconnus.

Taux	Formule	En clair
RR1	`I / ((I+P) + (R+NC+O) + (UH+UO))`	Entretiens complets parmi tous les cas qui auraient pu être éligibles. Le taux de réponse le plus strict.
RR2	`(I+P) / ((I+P) + (R+NC+O) + (UH+UO))`	Comme RR1, mais les entretiens partiels comptent aussi.
RR3	`I / ((I+P) + (R+NC+O) + e(UH+UO))`	Comme RR1, mais seule la part estimée des cas inconnus éligibles est comptée.
RR4	`(I+P) / ((I+P) + (R+NC+O) + e(UH+UO))`	Comme RR3, avec les entretiens partiels comptés.
RR5	`I / ((I+P) + (R+NC+O))`	Entretiens complets parmi les cas connus comme éligibles. Suppose que chaque cas inconnu n’était pas éligible, c’est donc le plus généreux.
RR6	`(I+P) / ((I+P) + (R+NC+O))`	Comme RR5, avec les entretiens partiels comptés.
COOP1	`I / ((I+P) + R + O)`	Parmi les personnes éligibles que nous avons effectivement contactées, combien ont accordé un entretien complet ?
COOP2	`(I+P) / ((I+P) + R + O)`	Comme COOP1, avec les entretiens partiels comptés.
COOP3	`I / ((I+P) + R)`	Parmi les personnes interrogées, combien ont accordé un entretien complet ?
COOP4	`(I+P) / ((I+P) + R)`	Comme COOP3, avec les entretiens partiels comptés.
REF1	`R / ((I+P) + (R+NC+O) + (UH+UO))`	Refus et abandons parmi tous les cas qui auraient pu être admissibles.
REF2	`R / ((I+P) + (R+NC+O) + e(UH+UO))`	Comme REF1, en utilisant la part estimée des cas inconnus éligibles.
REF3	`R / ((I+P) + (R+NC+O))`	Refus et abandons parmi les cas connus comme admissibles.
CON1	`((I+P) + R + O) / ((I+P) + (R+NC+O) + (UH+UO))`	Fréquence à laquelle nous avons joint une personne, sur l’ensemble des cas qui auraient pu être éligibles.
CON2	`((I+P) + R + O) / ((I+P) + (R+NC+O) + e(UH+UO))`	Comme CON1, en utilisant la part estimée des cas inconnus éligibles.
CON3	`((I+P) + R + O) / ((I+P) + (R+NC+O))`	Fréquence à laquelle nous avons joint une personne, parmi les cas dont l’éligibilité était connue.

L’estimation pour l’éligibilité inconnue, e

Lorsque nous ne savons pas si un cas était admissible, comme un numéro qui sonnait toujours sans réponse, un taux de réponse doit faire une hypothèse. RR1, RR2, RR5 et RR6 font une hypothèse fixe. RR1 et RR2 considèrent chaque cas inconnu comme admissible. RR5 et RR6 considèrent chaque cas inconnu comme non admissible. Les taux marqués d’un e se situent entre ces extrêmes. Ils ne comptent qu’une part des cas inconnus, et cette part est e.

Nous calculons e à partir des cas que nous connaissons : le nombre de cas éligibles divisé par le nombre total de cas éligibles et non éligibles. Le rapport indique la valeur utilisée. Si nous n’avons encore aucun cas dont l’éligibilité est connue, e ne peut pas être estimé et les taux qui en dépendent sont indiqués comme non disponibles.

Ce que les chiffres ne peuvent pas vous dire

Un taux de réponse élevé ne rend pas une enquête exacte, et un taux faible ne la rend pas fausse. Il indique dans quelle mesure les résultats reposent sur l’échantillon et ce que nous avons dû supposer pour le reste. Notre échantillonnage, notre pondération et notre marge d’erreur sont décrits sur page principale des méthodes. Tant que le terrain est ouvert, le rapport montre la situation à ce stade, et les cas encore en cours portent le résultat qu’ils ont à ce moment-là. Les résultats sont définitifs une fois l’étude terminée.

Source

L’American Association for Public Opinion Research. Définitions normalisées : dispositions finales des codes de cas et taux de résultats pour les enquêtes. 10e édition, 2023. Disponible à l’adresse aapor.org/standards-and-ethics/standard-definitions.

Si vous repérez une erreur dans la manière dont nous l’avons appliquée, écrivez à corrections@pollsafrica.com et nous la corrigerons.