Como avaliar respostas de uma IA que consulta documentos
Avaliar respostas de uma IA que consulta documentos exige revisar a busca e a redação separadamente. Uma resposta pode soar correta e usar o trecho errado, ou recuperar a fonte certa e interpretar mal uma condição.
Neste tutorial, você montará uma avaliação pequena com perguntas, evidências esperadas e uma forma consistente de registrar falhas. O exercício funciona antes de escolher uma plataforma especializada de avaliação.
1. Prepare perguntas com referência
Escolha situações reais que a base deveria responder e registre a fonte correspondente. Inclua uma pergunta sobre uma exceção e outra cuja resposta não esteja nos documentos.
Em um exemplo fictício, o procedimento diz que pedidos incompletos voltam ao solicitante. Uma pergunta sobre quem aprova um pedido sem quantidade deve levar a essa condição, não a uma autorização inventada.
| Caso | Evidência esperada |
|---|---|
| Pergunta direta | Trecho com a regra principal |
| Pergunta sobre exceção | Condição e procedimento da exceção |
| Fonte antiga disponível | Versão atual, identificada |
| Informação ausente | Resposta indicando a ausência |
As orientações de avaliação RAG da Microsoft distinguem a qualidade da recuperação e da resposta. Essa separação é a base do nosso roteiro, sem depender das ferramentas específicas descritas na documentação.
2. Avalie o que a busca encontrou
Antes de ler a resposta final, veja os trechos selecionados. Confira se respondem à pergunta, se estão atualizados e se pertencem ao escopo de acesso do usuário.
Se a evidência necessária não foi recuperada, registre uma falha de busca. Reformular a resposta não resolve sozinho a ausência da regra que o modelo precisaria consultar.
Compare as primeiras posições com o documento esperado. Guarde também as consultas em que surgiu muito conteúdo parecido, mas sem a informação necessária.
3. Confira as afirmações da resposta
Divida o texto em orientações verificáveis e procure uma evidência para cada uma. Uma referência no fim do parágrafo não garante que todas as frases estejam sustentadas.
Verifique se a resposta responde ao que foi perguntado e se preserva limites e exceções. Um resumo pode manter a regra geral e omitir justamente a condição relevante para o caso.
Avalie a resposta usando a pergunta e os trechos fornecidos.
Liste cada afirmação e a evidência que a sustenta.
Marque afirmações sem suporte, condições omitidas e referências incorretas.
Diferencie erro de recuperação e erro de interpretação.
Não use conhecimento externo para completar a resposta avaliada.A IA pode ajudar a preparar esse relatório, mas o julgamento também precisa ser conferido. Usar outro modelo como avaliador não transforma automaticamente a avaliação em verdade objetiva.
4. Use critérios simples e repetíveis
Classifique cada caso como correto, parcialmente correto ou incorreto, explicando o motivo. Mantenha os mesmos critérios entre testes, para que a comparação reflita mudanças no sistema.
Registre separadamente falta de evidência, fonte desatualizada, interpretação incorreta e resposta incompleta. Essas categorias apontam ajustes diferentes na base, na busca ou nas instruções.
5. Mude uma coisa por vez
Se alterar simultaneamente documentos, tamanho dos trechos e instruções, fica difícil saber o que ajudou. Escolha uma mudança, rode novamente as mesmas perguntas e compare os resultados.
Acrescente novos casos quando encontrar uma falha importante no uso real. A coleção de avaliação deve representar o trabalho da aplicação, não apenas exemplos que ela já responde bem.
6. Documente a decisão de uso
Guarde versão da base, configuração relevante, perguntas e resultados. Decida quais erros exigem correção antes de ampliar o acesso e quais respostas precisam passar por uma pessoa.
Se o problema começar nas fontes, volte ao guia de organização da base de conhecimento. Para rever a recuperação, consulte como comparar busca textual e semântica.
Perguntas frequentes
O que avaliar em uma resposta RAG?
Avalie se a busca recuperou a evidência correta e se a resposta usa essa evidência para responder à pergunta, preservando condições e exceções.
Uma citação garante que a frase está correta?
Não. Abra a fonte e confira se o trecho realmente sustenta a afirmação e corresponde à versão adequada.
Como comparar duas configurações?
Use as mesmas perguntas e critérios, registre a versão da base e altere uma condição por vez para entender o efeito da mudança.