Como verificar o que o ChatGPT, Gemini e Grok dizem sobre sua marca (guia prático)

Antes de contratar qualquer ferramenta — a nossa inclusive — você pode e deve fazer o primeiro diagnóstico à mão: perguntar às IAs sobre a sua marca do jeito que um cliente perguntaria, e comparar as respostas com os fatos. Este guia mostra como fazer isso com método: os três tipos de pergunta, o que registrar, como interpretar — e onde o teste manual para de funcionar.

Regra número 1: registre tudo, na hora

O valor do teste está no registro, não na lembrança. Para cada pergunta, anote data e hora, engine (e o modelo exibido na interface, quando houver), o prompt exato e a resposta completa, copiada na íntegra. Uma planilha simples resolve:

Use sessões limpas: janela anônima ou conta sem histórico, com memória e personalização desligadas quando o produto permitir. O objetivo é ver o que um desconhecido vê — não o que a IA aprendeu sobre você nas suas próprias conversas.

Os três tipos de pergunta

No nosso pipeline de medição, os prompts se dividem em famílias de intenção — os nomes abaixo são o jargão que usamos internamente (a mesma taxonomia da metodologia ADR-031), mas a lógica serve para qualquer teste manual. Três famílias bastam para um diagnóstico inicial:

BRANDED — a marca no prompt

O que observar: os fatos batem com a realidade? Ou a resposta apenas devolve o nome que você forneceu, sem informação própria — o que chamamos de eco? Resposta correta e específica é bom sinal; resposta específica e errada é confabulação, o pior resultado possível nesta família.

CATEGORY — a prateleira, sem citar você

Aqui você não fornece o nome — mede se o engine se lembra de você quando o cliente pede recomendação. É a pergunta mais valiosa comercialmente e a mais dura: na nossa medição de 07/08/2026, as duas marcas que monitoramos tiveram 0% de citação em perguntas de categoria. Ausência é resultado, não falha do teste — anote-a como dado.

DEFENSIVE — reputação e confiança

São as perguntas que o cliente desconfiado faz — e as mais caras de errar: uma invenção negativa aqui conversa diretamente com a decisão de compra. Observe se o engine responde com fatos, com evasivas ou com material inventado para sustentar um veredito.

Como interpretar as respostas

Dê um veredito por resposta, nunca uma "impressão geral" da rodada. Se quiser a régua completa, publicamos as cinco classes que usamos (STRONG, DESCRIPTIVE, ECHO, CONFABULATED, ABSENT) em outro post deste blog; para o teste manual, basta ser honesto em três distinções: o engine sabe de mim, o engine repete meu nome, o engine inventa sobre mim. E compare contra fatos escritos com fonte — não contra memória: a fronteira entre "descreveu certo" e "inventou" precisa de referência, não de intuição.

As limitações do teste manual — e são sérias

• Variância: modelos são amostrais — a mesma pergunta, no mesmo engine, minutos depois, pode gerar resposta diferente. Uma rodada é uma fotografia, não uma medição
• Cache e índice: parte dos engines responde a partir de índices e caches com idades diferentes — você pode corrigir o site hoje e continuar vendo a versão velha por semanas
• Contexto da conta: histórico, memória e localização mudam a resposta — o que você vê logado não é o que seu cliente vê
• Janela temporal: modelos e configurações mudam sem aviso; o resultado de hoje pode não valer no mês que vem
• Escala: 3 engines x 3 famílias x meia dúzia de prompts já são dezenas de execuções — repetir isso toda semana, à mão, não se sustenta

Nada disso invalida o teste manual como diagnóstico inicial — invalida como sistema de medição. Para comparar antes e depois, ou acompanhar tendência, é preciso repetição programada, prompts fixos e classificação com critério escrito.

O problema da prova — e como evidência com hash resolve

Há um problema que nem a repetição resolve: prova. Print de tela é editável, e resposta colada em planilha é contestável — um "a IA nunca disse isso" encerra a conversa com um sócio, um cliente ou um advogado. A solução técnica é evidência com hash: no momento da captura, a resposta íntegra é registrada e dela se calcula um hash SHA-256 — uma impressão digital criptográfica em que a alteração de um único caractere muda o valor por completo. Quem tem o hash e o conteúdo consegue provar que aquele texto existia daquela forma naquela data.

É assim que fazemos nas nossas medições: cada resposta capturada gera evidência com hash SHA-256, e qualquer pessoa pode conferir um hash publicamente em genopt.ai/verify — sem conta, sem pedir permissão. O hash não elimina a variância (essa é papel da repetição programada); ele resolve a disputabilidade: transforma "eu vi a IA dizer isso" em um registro datado que terceiros conseguem verificar.

Checklist do teste manual

• Sessão limpa: janela anônima, memória e personalização desligadas
• Mesmos prompts nos três engines, copiados de uma lista fixa
• Registro integral: data, hora, engine, prompt exato, resposta completa
• As três famílias cobertas: BRANDED, CATEGORY e DEFENSIVE
• Veredito por resposta: correta, eco, inventada ou ausente
• Comparação contra fatos escritos com fonte — não contra memória
• Repetição agendada: rode a mesma bateria em algumas semanas antes de concluir qualquer coisa