Mesure datée, zéros compris : ce qu’a montré notre produit
Pourquoi mesurer les réponses de l’IA demande une date et les mêmes questions et assistants avant et après, et pourquoi garder les zéros. Exemple : ShotBook.
Publié le
4 min de lecture
En bref
- Un chiffre sur les réponses de l’IA ne se vérifie qu’avec trois éléments : la date, les questions et la liste des assistants IA.
- Les questions et les assistants sont notés avant de commencer et ne changent pas d’une mesure à l’autre ; chaque question est posée dans une nouvelle conversation.
- Les zéros restent dans le rapport : sans eux, rien à quoi comparer. Pour ShotBook, cinq mesures d’affilée ont donné 0 sur 46 ; la sixième, le 7 septembre 2026, a donné 10 sur 46.
« L’IA s’est mise à citer l’entreprise plus souvent » peut vouloir dire n’importe quoi. Une telle affirmation ne se vérifie qu’avec trois éléments : la date, les questions et la liste des assistants IA.
Voici pourquoi chacun compte, et à quoi ressemble une série de mesures sur notre propre produit, zéros compris.
Ce qu’est une mesure
Une mesure, c’est poser aux assistants IA choisis les questions de vos clients, avec leurs mots et sans le nom de l’entreprise, chacune dans une nouvelle conversation.
Pour chaque réponse, nous notons qui est cité et d’où vient la réponse. Le résultat est un chiffre pour chaque assistant : combien de réponses sur combien ont cité l’entreprise.
Pourquoi la date
Un chiffre sans date ne peut être ni vérifié ni comparé : on ne sait pas quel moment il décrit. Et les réponses de l’IA changent - l’exemple de ShotBook ci-dessous montre un zéro qui devient un autre chiffre. C’est pourquoi nous n’avançons pas de chiffres sans date de mesure.
La date empêche aussi un ancien chiffre de passer pour celui d’aujourd’hui.
Pourquoi les mêmes questions et les mêmes assistants
On ne peut comparer l’avant et l’après que si rien d’autre n’a changé. Remplacez une question par une plus facile, et la hausse peut venir de la formulation. Ajoutez un assistant qui vous connaissait déjà, et c’est la même chose.
Avant
Après
C’est pourquoi les questions et les assistants sont notés avant de commencer, et nous ne les changeons pas d’une mesure à l’autre. Chaque question est posée dans une nouvelle conversation, mot pour mot. Ce qui compte comme résultat est lui aussi noté avant de commencer.
Pourquoi montrer les zéros
Zéro, c’est le point de départ : c’est le seul moyen de voir si quelque chose a changé. Et zéro est une réponse honnête à la question « est-ce que ça marche ? ».
Nous ne cachons pas les zéros : si l’IA ne vous cite toujours pas, vous le saurez en premier.
Les zéros restent dans le rapport, et c’est vous qui décidez de continuer ou non.
Exemple : ShotBook
ShotBook est notre propre produit et une étude de cas publique, un catalogue de références vidéo pour réalisateurs et monteurs. Nous avons mesuré combien de fois l’IA a cité ShotBook.
Combien de fois l’IA a cité ShotBook
0sur 46
10sur 46
Les cinq zéros ne sont pas un passage gênant de l’histoire qu’il faudrait couper. Sans eux, la sixième mesure n’a rien à quoi se comparer.
Ce que cette série ne montre pas
Pourquoi zéro est devenu dix. Une mesure enregistre ce qui a changé dans les réponses de l’IA, pas la cause. Et un chiffre du 7 septembre 2026 décrit le 7 septembre 2026, pas ce que l’IA répond aujourd’hui.
Notre propre zéro
Nous appliquons la même approche à nous-mêmes. Le 2 octobre 2026, quand nous nous appelions encore shyash.ai, nous avons posé à des assistants IA des questions d’acheteurs sur notre service, sans notre nom. Aucun ne nous a cités : 0 réponse sur 96.
Ce zéro est le point de départ. Nous ferons la prochaine mesure avec les mêmes questions sous notre nouveau nom, aigo, et nous compterons aussi les mentions de notre ancien nom, shyash.ai.
- réponses nous ont cités, mesure du 2 octobre 2026
- 0sur96
Les questions à poser sur toute mesure
Quand on vous montre une hausse dans les réponses de l’IA, demandez :
- À quelle date chaque mesure a-t-elle été faite ?
- Quelles questions ont été posées, et contenaient-elles le nom de l’entreprise ?
- Quels assistants IA, et étaient-ils les mêmes avant et après ?
- Chaque question a-t-elle été posée dans une nouvelle conversation ?
- Qu’a montré la première mesure, même si c’était zéro ?
Sans réponses, impossible de vérifier le chiffre.
Mêmes questions, mêmes assistants IA, nouvelles conversations. Nous vous montrons la différence. Zéros compris.