A avaliação de impacto experimental, conhecida pela sigla inglesa RCT (ensaio controlado aleatório), é um método para saber se uma política realmente causa a mudança que se espera. A ideia é simples: sortear quem recebe o programa e quem não recebe e comparar os grupos. O método ganhou projeção em políticas sociais com o J-PAL, centro de pesquisa criado em 2003 no MIT. Para o gestor municipal, vale entender quando faz sentido e como fazer testes menores sem dispensar o rigor.
O que é e de onde vem
O J-PAL (Abdul Latif Jameel Poverty Action Lab) foi criado em 2003 como centro de pesquisa no Departamento de Economia do Instituto de Tecnologia de Massachusetts (MIT), a partir do trabalho dos economistas Abhijit Banerjee, Esther Duflo e Sendhil Mullainathan, que se perguntavam como saber se um programa contra a pobreza de fato funciona. O método que adotaram foi o das avaliações aleatorizadas. A tradição de ensaios aleatórios é anterior, vinda sobretudo da medicina, e o J-PAL a aplicou a políticas sociais em escala.
Na prática, uma organização introduz um programa aleatoriamente entre algumas pessoas e não entre outras, e os pesquisadores medem e comparam a melhora em cada grupo. Como os grupos são formados por sorteio, eles são comparáveis no início, e as diferenças de resultado podem ser atribuídas ao programa. Isso importa porque muitos programas parecem bem-sucedidos em comparações simples de antes e depois, mesmo sem efeito real.
A avaliação experimental responde a uma pergunta específica: qual foi o efeito causado pelo programa? Não responde sozinha a perguntas sobre custo, qualidade da execução ou por que funcionou, para as quais outros métodos ajudam.
Por que funciona no setor público
O setor público tem muitas ideias plausíveis e poucas provas. Um programa de lembretes, uma mudança na carta de cobrança, um novo formato de aula de reforço: tudo parece promissor. Testar com sorteio, em pequena escala, revela se vale a pena ampliar. É também uma forma justa de distribuir uma vaga limitada: se não há vaga para todos, o sorteio é critério transparente e permite aprender.
Há limites. O método exige planejamento antes de começar, número suficiente de participantes, dados de qualidade e cuidados éticos. Não serve para tudo, como políticas que atingem toda a cidade de uma vez, e cada teste deve respeitar a legislação, a privacidade e a boa-fé do público.
Como aplicar na prefeitura, passo a passo
- Escolha uma pergunta concreta. Por exemplo: um lembrete por mensagem reduz faltas em consultas?
- Verifique se o teste é possível e adequado. Há número suficiente de participantes? A distribuição aleatória é ética e aceitável? Há dados para medir o resultado?
- Defina o resultado e como medi-lo. Escolha um indicador claro e uma fonte confiável de dados antes de começar.
- Forme os grupos por sorteio. Sorteie quem recebe a ação e quem fica como comparação. Registre o método do sorteio.
- Execute como planejado. Evite mudar a ação no meio do teste. Registre o que ocorreu em cada grupo.
- Compare os resultados. Observe a diferença entre os grupos. Se possível, conte com apoio de uma universidade ou de uma equipe de estatística.
- Decida e comunique. Se funcionou, amplie com cuidado; se não, ajuste ou encerre. Compartilhe o aprendizado, inclusive quando o resultado for negativo.
Modelo para preencher
Use a ficha abaixo como ponto de partida. Adapte à legislação e à realidade do seu órgão.
| Elemento do teste | Pergunta | Descrição | Cuidado | Responsável |
|---|---|---|---|---|
| Pergunta de avaliação | Qual efeito queremos medir? | |||
| Grupo que recebe | Quem será sorteado para a ação? | |||
| Grupo de comparação | Quem ficará sem a ação durante o teste? | |||
| Indicador e fonte | Como mediremos o resultado? | |||
| Prazo e análise | Quando e como compararemos? |
Exemplo prático
Exemplo hipotético. Uma prefeitura quer reduzir faltas em consultas agendadas. A ideia é enviar um lembrete por mensagem um dia antes. Em vez de aplicar a todos, a equipe sorteia metade dos pacientes agendados para receber o lembrete durante dois meses, enquanto a outra metade segue como antes.
Ao comparar as faltas dos dois grupos, a equipe vê que o grupo que recebeu o lembrete faltou menos. Como o grupo foi formado por sorteio, a prefeitura tem mais segurança de que a diferença se deve ao lembrete. Ela amplia a ação para todos os pacientes e registra o custo por consulta recuperada. Se o resultado fosse nulo, teria evitado gastar com algo que não funciona.
Erros comuns
- Escolher quem recebe por conveniência. Grupos formados sem sorteio podem diferir de outras formas e distorcer o resultado.
- Testar com poucos participantes. Amostras pequenas dificultam distinguir efeito real de acaso.
- Mudar a ação durante o teste. Perde-se a comparação. Registre ajustes e trate-os como outro teste.
- Ignorar ética e privacidade. Cuide de transparência, consentimento quando necessário, e proteção de dados pessoais.
- Usar o método onde não cabe. Para políticas de efeito geral e imediato sobre toda a população, outros métodos de avaliação serão mais adequados.
Perguntas frequentes
RCT e avaliação experimental são a mesma coisa?
Sim. RCT é a sigla em inglês de ensaio controlado aleatório, o desenho típico da avaliação experimental.
É preciso universidade para fazer?
Não é obrigatório, mas uma parceria acadêmica ajuda no desenho, na análise e na credibilidade.
Não é injusto deixar alguém sem o programa?
Quando não há recursos para todos, o sorteio é um critério transparente. O desenho deve prever que o grupo de comparação possa receber depois, se o programa funcionar.
Há alternativas mais simples?
Há métodos quase-experimentais, que comparam grupos semelhantes sem sorteio, com mais limitações.
