Замер с датой и нулями: что показал наш собственный продукт
Зачем замеру ответов ИИ дата, те же вопросы и те же ИИ до и после и почему нули остаются в отчёте. Пример - наш продукт ShotBook.
Опубликовано
3 мин чтения
Коротко
- Цифру об ответах ИИ можно проверить только по трём вещам: дата, вопросы, список ИИ.
- Вопросы и ИИ записываются до старта и не меняются между замерами, каждый вопрос - в новом чате.
- Нули остаются в отчёте: без них не с чем сравнить. У ShotBook пять замеров подряд - 0 из 46, шестой на 7 сентября 2026 - 10 из 46.
«ИИ стал чаще называть компанию» - за такой фразой может стоять что угодно. Проверить её можно только по трём вещам: дата, вопросы, список ИИ.
Разберём, зачем каждая, и покажем на нашем продукте, как выглядит ряд замеров вместе с нулями.
Что такое один замер
Один замер - это вопросы клиента, заданные выбранным ИИ его словами, без названия компании, каждый в новом чате.
По каждому ответу записываем, кого ИИ называет и откуда берёт ответ. Итог - число по каждому ИИ: в скольких ответах из скольких компанию назвали.
Зачем дата
Цифру без даты нельзя ни проверить, ни сравнить: непонятно, о каком моменте она говорит. А ответы ИИ меняются - на примере ShotBook ниже видно, как ноль сменился другим числом. Поэтому мы не называем цифр без даты замера.
Дата нужна и затем, чтобы старая цифра не выдавала себя за сегодняшнюю.
Зачем те же вопросы и те же ИИ
Сравнить «до» и «после» можно, только если остальное не менялось. Заменили вопрос на более удобный - и рост может оказаться заслугой формулировки. Добавили ИИ, который вас и так знал, - то же самое.
До
После
Поэтому вопросы и ИИ для замера записываются до старта и не меняются между замерами. Каждый вопрос задаётся в новом чате, дословно. Что считать результатом, записываем до старта.
Зачем показывать нули
Ноль - точка отсчёта: только от него видно, изменилось ли что-то. И ноль - честный ответ на вопрос «работает ли».
Не прячем нули: если ИИ по-прежнему не называет вас, вы узнаете это первым.
Нули остаются в отчёте, и вы решаете, продолжать ли.
Пример: ShotBook
ShotBook - наш продукт и публичный кейс, каталог видеореференсов для режиссёров и монтажёров. Мы замеряли, сколько раз ИИ назовёт ShotBook.
Сколько раз ИИ назвал ShotBook
0из 46
10из 46
Пять нулей - не та часть истории, которую стоит вырезать. Без них шестому замеру не с чем сравниться.
Чего этот ряд не показывает
Почему ноль сменился десятью. Замер фиксирует, что изменилось в ответах ИИ, а не причину. И цифра на 7 сентября 2026 говорит о 7 сентября 2026, а не о том, что ИИ отвечают сегодня.
Наш собственный ноль
Тот же подход - к нам самим. 2 октября 2026, когда мы ещё назывались shyash.ai, мы задали ассистентам вопросы покупателя о нашей услуге, без нашего имени. Нас не назвал ни один: 0 из 96 ответов.
Этот ноль - точка отсчёта. Следующий замер проведём теми же вопросами, уже под именем aigo, и упоминания прежнего имени shyash.ai тоже засчитаем.
- ответов назвали нас, замер 2 октября 2026
- 0из96
Что спросить о любом замере
Если вам показывают рост в ответах ИИ, спросите:
- Какого числа сделан каждый замер?
- Какие вопросы задавали и было ли в них название компании?
- Какие ИИ, и те же ли они до и после?
- В новых ли чатах?
- Что показал первый замер, даже если там ноль?
Ответов нет - цифру нельзя проверить.
Те же вопросы, те же ИИ, новые чаты. Показываем разницу. И нули тоже.