Messung mit Datum, samt Nullen: was unser Produkt zeigte
Warum eine Messung von KI-Antworten ein Datum und vorher wie nachher dieselben Fragen und Assistenten braucht und warum die Nullen bleiben. Beispiel: ShotBook.
Veröffentlicht
4 Min. Lesezeit
Kurz gesagt
- Eine Zahl zu KI-Antworten lässt sich nur an drei Dingen prüfen: am Datum, an den Fragen und an der Liste der KI-Assistenten.
- Fragen und Assistenten werden vor dem Start aufgeschrieben und zwischen den Messungen nicht geändert; jede Frage kommt in einen neuen Chat.
- Die Nullen bleiben im Bericht: Ohne sie gibt es nichts zu vergleichen. Bei ShotBook ergaben fünf Messungen in Folge 0 von 46; die sechste, am 7. September 2026, ergab 10 von 46.
„Die KI erwähnt das Unternehmen jetzt häufiger“ kann alles Mögliche bedeuten. Prüfen lässt sich so eine Aussage nur an drei Dingen: am Datum, an den Fragen und an der Liste der KI-Assistenten.
Hier steht, warum jedes davon wichtig ist und wie eine Reihe von Messungen an unserem eigenen Produkt aussieht, die Nullen eingeschlossen.
Was eine Messung ist
Eine Messung heißt: Wir stellen den gewählten KI-Assistenten die Fragen Ihrer Kunden, in deren Worten und ohne den Namen des Unternehmens, jede in einem neuen Chat.
Zu jeder Antwort halten wir fest, wen sie nennt und woher sie die Antwort nimmt. Das Ergebnis ist eine Zahl für jeden Assistenten: wie viele Antworten von wie vielen das Unternehmen genannt haben.
Warum das Datum
Eine Zahl ohne Datum lässt sich weder prüfen noch vergleichen: Sie wissen nicht, welchen Zeitpunkt sie beschreibt. Und KI-Antworten ändern sich - das Beispiel ShotBook unten zeigt, wie aus einer Null eine andere Zahl wird. Deshalb nennen wir keine Zahlen ohne Datum der Messung.
Das Datum verhindert auch, dass eine alte Zahl als heutige durchgeht.
Warum dieselben Fragen und dieselben Assistenten
Vorher und nachher lassen sich nur vergleichen, wenn sich sonst nichts geändert hat. Tauschen Sie eine Frage gegen eine leichtere, kann das Wachstum von der Formulierung kommen. Nehmen Sie einen Assistenten hinzu, der Sie schon kannte, passiert dasselbe.
Vorher
Nachher
Deshalb werden die Fragen und die Assistenten vor dem Start aufgeschrieben, und wir ändern sie zwischen den Messungen nicht. Jede Frage kommt wörtlich in einen neuen Chat. Was als Ergebnis zählt, wird ebenfalls vor dem Start aufgeschrieben.
Warum wir die Nullen zeigen
Null ist der Ausgangspunkt: Nur so sieht man, ob sich überhaupt etwas geändert hat. Und null ist eine ehrliche Antwort auf „Funktioniert es?“.
Wir verbergen keine Nullen: Nennt die KI Sie weiterhin nicht, erfahren Sie es als Erste.
Die Nullen bleiben im Bericht, und Sie entscheiden, ob es weitergeht.
Beispiel: ShotBook
ShotBook ist unser eigenes Produkt und eine öffentliche Fallstudie, ein Katalog von Videoreferenzen für Regie und Schnitt. Wir haben gemessen, wie oft die KI ShotBook nannte.
Wie oft die KI ShotBook nannte
0von 46
10von 46
Die fünf Nullen sind kein unangenehmer Teil der Geschichte, den man streichen sollte. Ohne sie hat die sechste Messung nichts, womit man sie vergleichen kann.
Was diese Reihe nicht zeigt
Warum aus null zehn wurde. Eine Messung hält fest, was sich in den KI-Antworten geändert hat, nicht die Ursache. Und eine Zahl vom 7. September 2026 beschreibt den 7. September 2026, nicht das, was die KI heute antwortet.
Unsere eigene Null
Denselben Ansatz wenden wir auf uns selbst an. Am 2. Oktober 2026, als wir noch shyash.ai hießen, haben wir KI-Assistenten Käuferfragen zu unserem Angebot gestellt, ohne unseren Namen. Keiner von ihnen hat uns genannt: 0 von 96 Antworten.
Diese Null ist der Ausgangspunkt. Die nächste Messung machen wir mit denselben Fragen unter unserem neuen Namen aigo und zählen Erwähnungen unseres früheren Namens shyash.ai mit.
- Antworten nannten uns, Messung vom 2. Oktober 2026
- 0von96
Was Sie bei jeder Messung fragen sollten
Wenn Ihnen jemand Wachstum in KI-Antworten zeigt, fragen Sie:
- An welchem Datum wurde jede Messung gemacht?
- Welche Fragen wurden gestellt, und enthielten sie den Namen des Unternehmens?
- Welche KI-Assistenten, und waren es vorher und nachher dieselben?
- Kam jede Frage in einen neuen Chat?
- Was hat die erste Messung gezeigt, auch wenn es null war?
Gibt es keine Antworten, lässt sich die Zahl nicht prüfen.
Dieselben Fragen, dieselben KI-Assistenten, neue Chats. Wir zeigen Ihnen den Unterschied. Auch die Nullen.