Confabulação, eco e citação genuína: três categorias que você precisa medir

Imagine o relatório: "sua marca foi mencionada na maior parte das respostas das IAs este mês". Parece ótimo. Agora a pergunta que quase nenhuma ferramenta responde: mencionada como? Citada como fonte confiável, descrita corretamente, apenas repetida de volta — ou mencionada com fatos inventados que podem afastar clientes? Sem essa distinção, o número de menções não é uma métrica: é um ruído com cara de KPI.

Por que contar menções não basta

Uma "menção" é qualquer aparição do nome da marca em uma resposta. Mas as aparições têm naturezas completamente diferentes. Quando um engine cita seu site como fonte, isso é conquista. Quando ele apenas repete o nome que estava na pergunta, isso é nada. E quando ele atribui à sua marca um produto que você não tem, um preço que você não cobra ou uma sede onde você nunca esteve, isso é passivo de reputação — e o contador ingênuo de menções soma os três casos na mesma coluna.

As cinco classes

No GenOpt, cada resposta de engine passa por uma classificação em cinco classes mutuamente exclusivas, definidas no nosso ADR-031. Elas formam uma escada — do melhor cenário ao pior:

STRONG — citação genuína

O engine cita o site da marca como fonte, com link ou atribuição explícita. É o padrão-ouro: a resposta não só menciona a marca, como aponta para ela. Exemplo abstrato: perguntado sobre ferramentas de uma categoria, o engine responde descrevendo a marca corretamente e lista o domínio dela entre as fontes consultadas.

DESCRIPTIVE — menção correta, sem fonte

O engine descreve a marca com base em fatos verificáveis, mas não aponta o site como fonte. É bom — a informação circula certa — mas frágil: sem atribuição, o usuário não tem caminho até você, e você não tem como saber de onde o engine tirou a informação.

ECHO — o espelho

O engine repete o nome que o próprio prompt forneceu, sem agregar informação própria. Se a pergunta é "o que você sabe sobre a marca X?", responder "a marca X atua no seu setor" é eco: o engine devolveu o que recebeu. Parece menção, conta como menção em ferramentas ingênuas — mas não demonstra que o engine sabe qualquer coisa sobre você.

O eco não é inofensivo por ser neutro: é a classe que mais engana relatórios. Baterias de monitoramento mal desenhadas são dominadas por perguntas que já contêm o nome da marca — e cada resposta-espelho vira um ponto de "visibilidade" no dashboard. A marca parece presente; na prática, o engine só demonstrou saber ler.

CONFABULATED — a invenção

O engine menciona a marca e afirma coisas que não batem com os fatos verificáveis. Exemplo abstrato: sobre uma marca brasileira de tecnologia, um dos engines monitorados descreveu com convicção uma linha de produtos que a empresa nunca teve e um modelo de cobrança que ela nunca praticou. O tom é confiante, o texto é fluente — e o conteúdo é falso. Para quem pesquisa a marca antes de comprar, isso é a primeira impressão.

ABSENT — a ausência

A marca simplesmente não aparece na resposta. Em perguntas de categoria — "quais as melhores opções de..." — a ausência é o resultado mais comum e o mais caro: é a prateleira em que você não está.

Por que a média agregada mente

Agora o ponto central: qualquer métrica que agregue essas cinco classes em um número único — "taxa de menção", "visibilidade em IA", "AI score" — mente por construção, em duas direções ao mesmo tempo.

Primeiro, o eco infla. Boa parte dos prompts de monitoramento menciona a marca pelo nome ("o que é a marca X?", "a marca X é confiável?"). O engine responde repetindo o nome — e a ferramenta registra menção. Uma bateria de prompts assim produz uma taxa de menção alta que não mede conhecimento nenhum: mede a capacidade do engine de copiar o prompt.

Segundo, a confabulação conta como menção. No agregado, uma resposta que inventa fatos sobre a marca soma ponto na mesma coluna que uma citação genuína. O resultado é perverso: quanto mais os engines inventam sobre você, melhor fica o seu "score de visibilidade". A métrica premia exatamente o que deveria disparar alarme.

Há ainda um terceiro efeito, mais sutil: a ausência some do denominador. Relatórios agregados adoram o recorte "das respostas que mencionaram a marca, tantas foram positivas" — deixando de fora as respostas em que a marca nem apareceu. Mas a ausência é o resultado mais comum e o mais caro, sobretudo nas perguntas de categoria, em que o cliente pede recomendação sem citar ninguém: nas duas marcas que medimos, houve 0% de citação em perguntas de categoria. Um agregado que esconde a ausência esconde o principal.

A escala do problema não é teórica. Na nossa medição sobre duas marcas reais, entre 35% e 68% das menções continham fato inventado, dependendo da marca. E no mesmo conjunto — 458 execuções classificadas — houve 1 citação com link. Um agregado que somasse tudo diria que essas marcas têm "boa presença em IA". A classificação diz o oposto: quase tudo que os engines falam delas é eco ou invenção.

Verdade fundamentada não é opcional

Para classificar uma resposta como CONFABULATED, é preciso saber o que é verdade sobre a marca — com fonte. Esse conjunto de fatos verificados é a verdade fundamentada (ground truth), e sem ela a classificação inteira desaba: não existe como distinguir DESCRIPTIVE de CONFABULATED sem uma referência do que é fato.

• Fatos cadastrais: razão social, fundação, sede, sócios — cada um com fonte
• Fatos de produto: o que a empresa vende, o que não vende, modelo de cobrança
• Fatos de posicionamento: categoria de mercado, público, diferenciais declarados
• Data de verificação: fato sem data envelhece e vira, ele mesmo, fonte de erro

Se você usa — ou está avaliando — qualquer ferramenta de monitoramento de marca em IA, quatro perguntas separam medição de marketing:

• Cada resposta é classificada individualmente, ou o número final é uma média sem classes?
• Existe verdade fundamentada, com fontes e datas, por trás da detecção de invenções?
• Dá para abrir a resposta bruta de cada execução e conferir a classificação?
• Eco conta como menção? Confabulação conta como visibilidade?

"Uma métrica de visibilidade em IA que não sabe o que é verdade sobre a sua marca não consegue saber quando a IA mente sobre ela. E se ela não detecta a mentira, ela a contabiliza como sucesso."

Classificar dá trabalho: exige coletar fatos, manter fontes e revisar casos-limite — uma resposta pode descrever a marca quase toda corretamente e errar um detalhe decisivo, e a fronteira entre DESCRIPTIVE e CONFABULATED precisa de critério escrito, não de intuição. É exatamente por dar trabalho que quase ninguém faz. E é por quase ninguém fazer que os relatórios do mercado seguem somando espelhos e invenções na mesma coluna de "menções".

A conclusão prática: exija de qualquer medição — a nossa ou de qualquer outra ferramenta — três coisas: classificação por resposta (não média), verdade fundamentada com fontes (não achismo) e acesso à resposta bruta de cada execução (não só o número final). Se um dos três falta, o relatório pode estar bonito. Só não dá para saber se está certo.