Medição com data e com zeros: o que nosso produto mostrou
Por que medir respostas da IA exige data e as mesmas perguntas e assistentes antes e depois, e por que mantemos os zeros. Exemplo: ShotBook.
Publicado
4 min de leitura
Em resumo
- Um número sobre respostas da IA só pode ser conferido com base em três coisas: a data, as perguntas e a lista de assistentes de IA.
- As perguntas e os assistentes são anotados antes do início e não mudam entre as medições; cada pergunta vai para um chat novo.
- Os zeros ficam no relatório: sem eles, não há com o que comparar. No ShotBook, cinco testes seguidos deram 0 de 46; o sexto, em 7 de setembro de 2026, deu 10 de 46.
“A IA passou a citar a empresa com mais frequência” pode significar qualquer coisa. Uma afirmação assim só pode ser conferida com base em três coisas: a data, as perguntas e a lista de assistentes de IA.
Veja por que cada uma importa e como fica uma série de medições do nosso próprio produto, zeros incluídos.
O que é uma medição
Uma medição é fazer aos assistentes de IA escolhidos as perguntas do seu cliente, com as palavras dele e sem o nome da empresa, cada uma em um chat novo.
Para cada resposta, registramos quem a IA cita e de onde ela tira a resposta. O resultado é um número para cada assistente: quantas respostas, de quantas, citaram a empresa.
Por que a data
Um número sem data não pode ser conferido nem comparado: você não sabe qual momento ele descreve. E as respostas da IA mudam - o exemplo do ShotBook abaixo mostra um zero virando outro número. Por isso, não divulgamos números sem data de medição.
A data também evita que um número antigo passe por atual.
Por que as mesmas perguntas e os mesmos assistentes
Só dá para comparar antes e depois se nada mais mudou. Troque uma pergunta por outra mais fácil, e o crescimento pode vir da formulação. Inclua um assistente que já conhecia você, e acontece o mesmo.
Antes
Depois
Por isso, as perguntas e os assistentes são anotados antes do início, e não os mudamos entre as medições. Cada pergunta vai para um chat novo, palavra por palavra. O que conta como resultado também é anotado antes do início.
Por que mostrar os zeros
O zero é o ponto de partida: é a única forma de ver se algo mudou. E o zero é uma resposta honesta a “está funcionando?”.
Não escondemos os zeros: se a IA continuar sem citar você, você será o primeiro a saber.
Os zeros ficam no relatório, e você decide se continua.
Exemplo: ShotBook
O ShotBook é nosso próprio produto e um caso público, um catálogo de referências em vídeo para diretores e editores. Medimos quantas vezes a IA citou o ShotBook.
Quantas vezes a IA citou o ShotBook
0de 46
10de 46
Os cinco zeros não são uma parte incômoda da história que deveria ser cortada. Sem eles, o sexto teste não tem com o que ser comparado.
O que esta série não mostra
Por que o zero virou dez. Uma medição registra o que mudou nas respostas da IA, não a causa. E um número de 7 de setembro de 2026 descreve 7 de setembro de 2026, não o que a IA responde hoje.
Nosso próprio zero
Aplicamos a mesma abordagem a nós mesmos. Em 2 de outubro de 2026, quando ainda nos chamávamos shyash.ai, fizemos aos assistentes de IA perguntas de compradores sobre o nosso serviço, sem o nosso nome. Nenhum deles nos citou: 0 de 96 respostas.
Esse zero é o ponto de partida. Faremos a próxima medição com as mesmas perguntas já com o nosso novo nome, aigo, e também contaremos as menções ao nome anterior, shyash.ai.
- respostas nos citaram, medição de 2 de outubro de 2026
- 0de96
O que perguntar sobre qualquer medição
Quando alguém mostrar a você um crescimento nas respostas da IA, pergunte:
- Em que data cada medição foi feita?
- Quais perguntas foram feitas, e elas incluíam o nome da empresa?
- Quais assistentes de IA, e eram os mesmos antes e depois?
- Cada pergunta foi para um chat novo?
- O que a primeira medição mostrou, mesmo que tenha sido zero?
Sem respostas, não há como conferir o número.
Mesmas perguntas, mesmos assistentes de IA, chats novos. Mostramos a diferença. Inclusive os zeros.