Como comparar respostas de duas IAs com critérios claros

Para comparar duas respostas de IA, mantenha a tarefa igual e defina antes o que conta como um bom resultado. Escolher apenas pela fluidez pode premiar uma resposta convincente que não resolve sua necessidade.

O exercício abaixo produz uma avaliação da sua tarefa, não um ranking universal de ferramentas. Uma comparação pequena não representa todos os modelos, planos ou tipos de uso.

1. Use a mesma entrada

Forneça o mesmo objetivo, material de referência e formato esperado às duas ferramentas. Se uma recebeu documentos extras ou contexto anterior, registre essa diferença.

Quando houver histórico de conversa, ele pode alterar o resultado. Para uma comparação mais simples, comece com pedidos independentes e explique o contexto necessário em ambos.

2. Defina três ou quatro critérios

Escolha aspectos observáveis que correspondam ao uso real. Para um resumo, fidelidade e cobertura podem importar mais que variedade de vocabulário.

A documentação de avaliações da Anthropic trata da definição de sucesso e da avaliação de resultados. A tabela abaixo é um exemplo editorial simplificado.

Critério	Pergunta que você responde
Fidelidade	Preservou os fatos fornecidos?
Completude	Incluiu os itens obrigatórios?
Formato	Respeitou a estrutura pedida?
Utilidade	Permite realizar a próxima ação?

Evite uma nota geral antes de ler os critérios. Uma falha grave de informação não deve desaparecer na média de aspectos cosméticos.

3. Faça uma leitura sem o nome da ferramenta

Se possível, identifique as saídas apenas como A e B durante a primeira revisão. Isso ajuda a concentrar a análise no texto entregue.

Registre um exemplo concreto de acerto ou falha em cada critério. “Gostei mais” pode ser uma preferência legítima, mas não explica o que deve melhorar.

4. Confira os fatos fora da comparação

Duas respostas concordarem não transforma uma afirmação em verdade. Use o material original ou uma fonte primária para conferir pontos que mudam a decisão.

Consulte o roteiro de checagem de fontes se aparecerem números, citações ou links externos.

5. Peça uma revisão fundamentada

Você pode usar outra leitura automatizada para organizar observações. Ela deve apontar evidências no texto, e não apenas declarar uma vencedora.

Compare as respostas A e B usando os critérios definidos abaixo.
Para cada critério, mostre um trecho relevante e a razão da avaliação.
Diferencie erro factual, informação ausente e preferência de estilo.
Quando não houver base para julgar um fato, marque como não verificado.
Não escolha uma resposta apenas por tamanho ou tom confiante.

A classificação dessa revisão ainda precisa ser conferida. O avaliador pode deixar passar uma falha ou preferir uma formulação sem justificar adequadamente.

6. Use o resultado para melhorar a tarefa

Se ambas falharam no mesmo ponto, reveja a clareza das instruções ou a qualidade do material fornecido. Talvez a comparação revele um problema no pedido, não uma diferença útil entre ferramentas.

Guarde a entrada, os critérios e as observações junto da biblioteca de prompts. Assim, o teste pode ser repetido depois.

Perguntas frequentes

A resposta mais longa é melhor?

Não necessariamente. Avalie se ela cumpre a tarefa, preserva os fatos e apresenta o formato necessário.

Duas IAs concordando confirmam um fato?

Não. Ambas podem repetir o mesmo erro ou se basear em informações insuficientes; confira a fonte.

Posso pedir a uma IA para julgar a outra?

Isso pode ajudar a organizar uma revisão, mas o julgamento também precisa de critérios e não substitui uma referência verificável.