Como comunicamos o trabalho de campo e as taxas de resposta

Porque publicamos isto

Somos uma empresa jovem e preferimos que verifique o nosso trabalho a que confie nele. Cada estudo que realizamos inclui um relatório de trabalho de campo que permite ao cliente ver quantas pessoas inquirimos, quantas conseguimos contactar, quantas responderam e o que aconteceu a todas as que não responderam. O relatório é elaborado a partir dos nossos próprios registos à medida que o trabalho de campo decorre, pelo que muda dia a dia até o estudo encerrar.

O que contém cada relatório

O relatório começa com um funil: amostrados, convidados, entregues, abertos ou respondidos, iniciados, concluídos e válidos. Em seguida, decompõe os mesmos números por canal, por região e por dia. Depois disso, apresenta o resultado final de cada caso amostrado, as taxas de resposta, cooperação, recusa e contacto segundo o padrão, as regras que seguimos ao tentar chegar às pessoas (quantas tentativas, com que intervalo, dentro de que janela) e uma breve nota sobre como ler tudo isto. Os clientes veem totais e grupos. Os administradores do nosso lado veem o mesmo relatório com todos os grupos apresentados.

Cada relatório inclui também uma ligação para um registo de contactos, um ficheiro CSV com uma linha por cada caso da amostra. A linha contém um número de caso anónimo, o canal, a hora de cada tentativa, o estado de entrega e a disposição final. Não tem nomes, números de telefone nem endereços de email, e os números de caso são gerados com uma chave secreta que guardamos, pelo que não podem ser associados a uma pessoa. Registamos cada descarregamento do registo.

Como sabemos que uma mensagem chegou

Grande parte do que separa uma taxa de resposta fraca de uma forte é se o convite chegou à pessoa. Mantemos um histórico de estado para cada convite: em fila, enviado, entregue, aberto ou lido, ou falhado com o motivo. O que podemos saber depende do canal.

WhatsApp. A Meta informa-nos quando uma mensagem é enviada, entregue e lida, e quando falha. Registamos cada um destes casos.
Email. O nosso fornecedor de correio eletrónico informa-nos quando uma mensagem é entregue, devolvida, marcada como spam ou aberta. O rastreio de aberturas depende do programa de correio do destinatário, pelo que uma mensagem não aberta não prova que ninguém a leu.
SMS. A rede móvel envia um relatório de entrega através do nosso fornecedor de SMS. Algumas redes demoram a enviá-los e outras nunca o fazem.
Telegram. O Telegram não envia relatórios de entrega. Se o Telegram aceitar a mensagem, contamos como entregue e indicamos a base como aceitação pelo Telegram. Se a pessoa tiver bloqueado o bot ou encerrado a conta, o Telegram recusa e registamos esse facto.
Telefone. O marcador registra cada tentativa de chamada e o entrevistador registra como terminou cada chamada. Importamos esses registros tal como estão e não alteramos nada neles.

Uma pessoa que abre a ligação do inquérito também conta como tendo aberto, seja qual for o canal por onde chegou o convite. As pré-visualizações automáticas de ligações feitas por aplicações de mensagens e por scanners de segurança são ignoradas, porque não são a pessoa.

Códigos de situação AAPOR

Todos os casos da amostra terminam numa única classificação final, segundo as Definições Padrão da American Association for Public Opinion Research (AAPOR). Quando um caso tem vários resultados, por exemplo três chamadas para o mesmo número, fica o mais informativo: primeiro uma entrevista, depois um inelegível conhecido, depois o que fez uma pessoa elegível, depois os desconhecidos. Utilizamos os códigos abaixo.

Código	Resultado	Grupo	O que significa
1.1	Entrevista completa	Entrevista	Uma entrevista válida e completa.
1.2	Entrevista parcial	Parcial	O questionário foi respondido o suficiente para ser utilizável, mas não na totalidade.
2.11	Recusa	Recusa e interrupção	A pessoa recusou ou pediu-nos para deixar de a contactar.
2.12	Interrupção	Recusa e interrupção	A pessoa começou e parou antes do fim.
2.20	Sem contacto	Sem contacto	Uma pessoa elegível que não conseguimos contactar, ou que nunca abriu o convite.
2.33	Problema de língua	Outros não elegíveis para entrevista	Chegámos à pessoa, mas não conseguimos entrevistá-la numa língua que fale.
2.35	Outros não elegíveis para entrevista	Outros não elegíveis para entrevista	Chegámos à pessoa, mas não resultou daí nenhuma entrevista utilizável.
3.11	Não tentado nem trabalhado	Desconhecido se foi contactado	Selecionado, mas nunca experimentado (sem canal de contacto ativo, ou ainda não contactado no período de campo).
3.12	Sempre ocupado	Desconhecido se foi contactado	Todas as tentativas de chamada encontraram a linha ocupada.
3.13	Sem resposta	Desconhecido se foi contactado	Todas as tentativas de chamada não obtiveram resposta.
3.14	Atendedor automático, contacto desconhecido	Desconhecido se foi contactado	Só se chegou ao voicemail, por isso não sabemos quem é o titular do número.
3.17	Sem questionário de triagem preenchido	Desconhecido se foi contactado	Alguém respondeu, mas nunca se estabeleceu se era elegível.
3.90	Desconhecido, outro	Desconhecido, outro	O convite foi enviado, mas nada confirma que chegou e nada foi devolvido.
4.31	Número não atribuído	Não elegível	O número não está em serviço.
4.70	Sem inquirido elegível	Não elegível	A pessoa contactada não era elegível (por exemplo, um menor).
4.80	Quota preenchida	Não elegível	A pessoa era elegível, mas a sua célula de quota já estava preenchida.
4.90	Não elegível, outro	Não elegível	Um número errado, ou outra razão pela qual o caso nunca pertenceu à população-alvo.

Como os nossos registos correspondem a esses códigos

Entrevistas por telefone

O sistema de chamadas regista um resultado por cada chamada. Classificamo-los assim.

O que o entrevistador registou	Código AAPOR	Resultado
completo	1.1	Entrevista completa
recusa	2.11	Recusa
sem interesse	2.11	Recusa
não telefonar	2.11	Recusa
pedido de dnd	2.11	Recusa
interrupção parcial	2.12	Interrupção
chamada de retorno agendada	2.20	Sem contacto
barreira linguística	2.33	Problema de língua
decisor com contactos	2.35	Outros não elegíveis para entrevista
ocupado	3.12	Sempre ocupado
sem resposta	3.13	Sem resposta
mensagem de voz deixada	3.14	Atendedor automático, contacto desconhecido
intermediário com contactos	3.17	Sem questionário de triagem preenchido
fora de serviço	4.31	Número não atribuído
não elegível com menos de 18 anos	4.70	Sem inquirido elegível
quota preenchida	4.80	Quota preenchida
número errado	4.90	Não elegível, outro

Um número que foi marcado mas não tem resultado registado conta como sem resposta. Um número que foi atribuído a um entrevistador mas nunca foi marcado conta como não tentado. Os números são gerados por marcação aleatória de dígitos, por isso a maioria nunca chega a uma pessoa e muitos ficam nos grupos desconhecidos. As taxas abaixo são construídas para lidar com isso.

Convites online para o painel

As pessoas que convidamos online são membros existentes do painel, adultos verificados que aceitaram participar, por isso sabemos que são elegíveis. O que nem sempre sabemos é se o convite lhes chegou.

Uma entrevista válida e completa tem o código 1.1. Uma entrevista concluída removida pelos nossos controlos de qualidade tem o código 2.35.
Quem começou e não terminou é uma interrupção, código 2.12. Se mantivemos as respostas parciais e cobriram uma parte suficiente do questionário, trata-se de uma entrevista parcial, código 1.2.
Quem respondeu STOP é uma recusa, código 2.11.
Quem abriu o convite mas não participou tem o código 2.35, porque o contactámos e não obtivemos nenhuma entrevista utilizável.
Um convite que foi entregue mas nunca aberto, ou que falhou a entrega, é um não contacto, código 2.20.
Um convite que foi enviado mas não tem relatório de entrega nem resposta é desconhecido, código 3.90. Não é possível saber se chegou.
Um membro do painel selecionado para o estudo mas sem canal funcional tem o código 3.11, não tentado.

Como se trata de um painel e não de uma amostra aleatória do país, a taxa de resposta aqui descreve a parte do painel convidado que participou. Não descreve até que ponto o painel representa a população. Dizemo-lo em todos os relatórios.

As taxas

Calculamos cada taxa com as fórmulas das Definições Padrão da AAPOR. I são entrevistas completas, P entrevistas parciais, R recusas e interrupções, NC não contactos, O outras não entrevistas elegíveis, UH casos de contacto desconhecido e UO outros desconhecidos.

Taxa	Fórmula	Em termos simples
RR1	`I / ((I+P) + (R+NC+O) + (UH+UO))`	Entrevistas completas em relação a todos os casos que podiam ter sido elegíveis. A taxa de resposta mais rigorosa.
RR2	`(I+P) / ((I+P) + (R+NC+O) + (UH+UO))`	Como RR1, mas as entrevistas parciais também contam.
RR3	`I / ((I+P) + (R+NC+O) + e(UH+UO))`	Como RR1, mas só é contada a parte elegível estimada dos casos desconhecidos.
RR4	`(I+P) / ((I+P) + (R+NC+O) + e(UH+UO))`	Como RR3, com as entrevistas parciais contadas.
RR5	`I / ((I+P) + (R+NC+O))`	Entrevistas completas em relação aos casos conhecidos como elegíveis. Pressupõe que todos os casos desconhecidos não eram elegíveis, pelo que é a mais generosa.
RR6	`(I+P) / ((I+P) + (R+NC+O))`	Como RR5, com as entrevistas parciais contadas.
COOP1	`I / ((I+P) + R + O)`	Das pessoas elegíveis que efetivamente contactámos, quantas deram uma entrevista completa.
COOP2	`(I+P) / ((I+P) + R + O)`	Como no COOP1, com as entrevistas parciais contabilizadas.
COOP3	`I / ((I+P) + R)`	Das pessoas a quem foi perguntado, quantas deram uma entrevista completa.
COOP4	`(I+P) / ((I+P) + R)`	Como no COOP3, com as entrevistas parciais contabilizadas.
REF1	`R / ((I+P) + (R+NC+O) + (UH+UO))`	Recusas e interrupções em todos os casos que poderiam ter sido elegíveis.
REF2	`R / ((I+P) + (R+NC+O) + e(UH+UO))`	Como REF1, utilizando a parte elegível estimada dos casos desconhecidos.
REF3	`R / ((I+P) + (R+NC+O))`	Recusas e interrupções em casos sabidamente elegíveis.
CON1	`((I+P) + R + O) / ((I+P) + (R+NC+O) + (UH+UO))`	Com que frequência contactámos uma pessoa, entre todos os casos que poderiam ser elegíveis.
CON2	`((I+P) + R + O) / ((I+P) + (R+NC+O) + e(UH+UO))`	Como no CON1, utilizando a proporção estimada de casos elegíveis entre os casos desconhecidos.
CON3	`((I+P) + R + O) / ((I+P) + (R+NC+O))`	Com que frequência contactámos uma pessoa, entre os casos conhecidos como elegíveis.

A estimativa para elegibilidade desconhecida, e

Quando não sabemos se um caso era elegível, como um número que tocava sempre sem resposta, a taxa de resposta tem de partir de uma suposição. RR1, RR2, RR5 e RR6 fazem uma suposição fixa. RR1 e RR2 tratam todos os casos desconhecidos como elegíveis. RR5 e RR6 tratam todos os casos desconhecidos como não elegíveis. As taxas marcadas com e situam-se entre esses extremos. Contam apenas uma parte dos casos desconhecidos, e essa parte é e.

Calculamos e a partir dos casos que conhecemos: o número de casos elegíveis dividido pelo número de casos elegíveis e não elegíveis em conjunto. O relatório mostra o valor utilizado. Se ainda não tivermos nenhum caso com elegibilidade conhecida, e não pode ser estimado e as taxas que dele dependem aparecem como não disponíveis.

O que os números não conseguem dizer

Uma taxa de resposta elevada não torna um inquérito exato, e uma taxa baixa não o torna errado. Indica em que parte da amostra os resultados se baseiam e quanto tivemos de assumir sobre o resto. A nossa amostragem, ponderação e margem de erro estão descritas na página dos principais métodos. Enquanto o trabalho de campo está aberto, o relatório mostra a situação até ao momento, e os casos ainda em curso apresentam o resultado que têm nesse momento. Os resultados são finais quando o estudo encerra.

Fonte

The American Association for Public Opinion Research. Definições padrão: disposições finais dos códigos de caso e taxas de resultado para inquéritos. 10.ª edição, 2023. Disponível em aapor.org/standards-and-ethics/standard-definitions.

Se detetar um erro na forma como o aplicámos, escreva para corrections@pollsafrica.com e corrigiremos.