Como o GenOpt calcula suas métricas

citation_rate = respostas_com_menção ÷ total_de_respostas

# 15 prompts × 6 engines × 1 dia = 90 respostas
# 37 mencionam sua marca → citation_rate = 41,1%

sov = menções_da_marca ÷ (menções_da_marca + menções_dos_concorrentes)

position = 1 − (posição_média_da_menção ÷ total_de_parágrafos)

sentiment = escala −1 (negativo) a +1 (positivo)

# prompt de classificação (exato):
# "Classifique o tom desta menção à marca {marca}:
#  positivo (+1), neutro (0) ou negativo (−1).
#  Responda apenas com o número."

genopt_score = 40% × citação
              + 25% × share_of_voice
              + 15% × posição
              + 10% × sentimento
              + 10% × cobertura_de_engines

# normalizado para 0–100

Como interpretar o GenOpt Score

Por que publicamos isso

Ferramentas de AI visibility tratam as métricas como segredo industrial. Nós tratamos como produto: se você não pode auditar o número, você não pode confiar nele — e não pode explicar para o seu chefe por que ele subiu ou caiu. Publicar a conta nos obriga a estar certos.

Quais IAs medimos — e quais não

Medimos oito. Com API nativa: ChatGPT, Perplexity, Gemini, Claude, Grok e DeepSeek. Via contrato oficial de terceiro: Google AI Overviews e Google AI Mode.

Não medimos o Microsoft Copilot — e saiu da nossa lista em 06/08/2026, depois de medirmos. A Bing Search API v7 foi encerrada em 11/08/2025, e o Grounding with Bing Search é um índice para agentes próprios: mede um agente nosso com um modelo nosso, não o Copilot. Testamos também o endpoint de SERP do Bing num fornecedor de dados — devolve resultado orgânico, nunca o bloco de resposta do Copilot, em 3 consultas, 2 idiomas e 2 localizações. Chamar qualquer uma dessas coisas de "Copilot" seria fraude métrica.

Não medimos Meta AI nem Amazon Rufus. Nenhum dos dois tem API pública. O que existe em agregadores é o modelo Llama — que não é o Meta AI: o assistente tem sistema de busca e instruções próprias da Meta. Reportar um como se fosse o outro daria um número que parece certo e descreve outra coisa. O Rufus só existe dentro do site da Amazon. Ligamos os dois no dia em que houver acesso oficial.

Também não fazemos scraping desses produtos. É escolha, não limitação técnica: quem vende auditabilidade não pode ter, no próprio motor, a prática que o cliente reprova em due diligence.

Rigor experimental: o que medimos e o que provamos

As fórmulas acima descrevem um estado: nestas perguntas, nestes engines, nesta data, a marca apareceu tantas vezes. Descrever não é o mesmo que demonstrar efeito. A referência desta seção é a literatura de experimentos online controlados — em especial Ron Kohavi, Diane Tang e Ya Xu, Trustworthy Online Controlled Experiments (Cambridge University Press, 2020) —, e ela está aqui para dizer, sem rodeio, onde o nosso próprio desenho não chega.

O que faz um experimento ser válido

Por que resultado sem grupo de controle não é evidência

Comparar antes com depois atribui à intervenção tudo o que mudou no mesmo intervalo: sazonalidade, uma matéria publicada por terceiro, uma alteração no índice do buscador, um modelo novo do fornecedor. O grupo de controle concorrente existe justamente para absorver esse ruído — ele passa pelas mesmas mudanças de mundo, sem passar pela intervenção.

Em GEO isso pesa mais que no A/B teste clássico de produto, porque o sistema medido não é nosso e muda sem aviso: o mesmo prompt, no mesmo engine, pode responder outra coisa depois de uma atualização do fornecedor. Um gráfico subindo depois de uma otimização é compatível com a otimização ter funcionado e é igualmente compatível com o engine ter trocado de modelo naquela semana. Sem controle, os dois casos produzem a mesma curva.

Olhar a métrica antes da hora (peeking)

Acompanhar a métrica todo dia e encerrar quando ela fica favorável é usar o resultado como critério de parada. O teste estatístico padrão pressupõe uma leitura, no fim do horizonte combinado; a cada espiada extra, a chance de encontrar uma diferença “significativa” onde não existe nenhuma sobe acima dos 5% nominais — é o problema de comparações múltiplas, aplicado ao tempo.

Há duas saídas legítimas: fixar o horizonte antes e só decidir no fim, ou adotar um método sequencial desenhado para leitura contínua, que paga o preço da espiada no próprio limiar. O que não é saída é parar no dia em que o número ficou bonito. Consequência prática aqui: acompanhamento diário serve para operação e para detectar quebra de coleta; nada vira “resultado” nesta página antes do horizonte declarado.

Tamanho de amostra

O que determina se um efeito é detectável não é quantos dias o teste rodou, é quantas unidades independentes ele acumulou. A regra de bolso publicada por Kohavi para comparar dois grupos, com 5% de significância e 80% de poder:

n_por_grupo ≈ 16 × σ² ÷ δ²

# σ = desvio-padrão da métrica
# δ = diferença mínima que se quer conseguir detectar

# exemplo aritmético — NÃO é medição nossa, os valores são do exemplo:
# métrica de proporção com p = 0,10  →  σ² = p(1−p) = 0,09
# para detectar δ = 0,05 (5 pontos percentuais):
# n ≈ 16 × 0,09 ÷ 0,0025 = 576 respostas por grupo

O número do exemplo é aritmética de ilustração, com valores escolhidos para a conta fechar na tela; ele não descreve nenhuma medição do GenOpt. O que importa é a ordem de grandeza: efeitos pequenos exigem centenas de respostas por grupo, e um punhado de respostas não detecta praticamente nada. Vale ainda uma correção para baixo: respostas do mesmo prompt no mesmo engine são correlacionadas, então a contagem bruta de respostas superestima o tamanho efetivo da amostra.

O que não podemos afirmar com o desenho atual

O nosso experimento público é o IPNotary. Ele é uma medição observacional, não um experimento controlado: 6 prompts em 4 engines, 24 respostas válidas, uma execução em 05/08/2026. Conferido contra a lista acima, ele tem a unidade de medida definida e a métrica escolhida antes — e não tem nem controle, nem aleatorização, nem repetição. Isso limita o que ele sustenta:

O que o desenho sustenta é o que a página do experimento faz: descrever o estado com o arquivo de origem e o hash ao lado, e comparar com a próxima medição feita do mesmo jeito. Acompanhamento com origem verificável, não prova de efeito. A diferença entre as duas coisas é exatamente o que esta seção existe para não deixar borrar.

O que faria disso um experimento de verdade

O desenho mínimo que resolveria a maior parte dos limites acima começa por descer a unidade de aleatorização: em vez da marca, sortear prompts ou páginas — aplicando a intervenção em metade deles e deixando a outra metade intocada no mesmo período; repetir cada prompt várias vezes por dia, para medir o ruído do próprio instrumento; e declarar métrica primária e horizonte antes de começar.

Mesmo esse desenho teria um limite que convém dizer antes de alguém apontar: controle e tratamento compartilham o mesmo modelo e o mesmo índice, então o conteúdo criado para o lado tratado pode acabar aparecendo nas respostas do lado de controle. Se esse vazamento acontecer, a diferença medida subestima o efeito real — o que é preferível ao contrário, mas continua sendo motivo para não ler o número como exato.