日付つきの測定、ゼロも含めて：私たちのプロダクトでわかったこと
AIの回答を測るには、日付と、前後で同じ質問・同じアシスタントが必要です。ゼロを残す理由も。例はShotBookです。
公開
約4分で読めます
要点
- AIの回答についての数字を確かめる手がかりは3つだけです。日付、質問、AIアシスタントのリスト。
- 質問とアシスタントは開始前に書き出し、測定と測定のあいだで変えません。質問はひとつずつ新しいチャットで聞きます。
- ゼロはレポートに残します。ゼロがなければ、比べる相手がありません。ShotBookは5回続けて46件中0件、6回目の2026年9月7日は46件中10件でした。
「AIが会社の名前を挙げることが増えた」と言われても、どんな意味にもとれます。こうした主張を確かめる手がかりは3つだけです。日付、質問、AIアシスタントのリスト。
それぞれがなぜ大事なのか、そして私たち自身のプロダクトで一連の測定がどう見えるかを、ゼロも含めて紹介します。
1回の測定とは
1回の測定とは、選んだAIアシスタントにお客様の質問を、お客様の言葉で、社名を入れずに、質問ごとに新しいチャットで聞くことです。
回答ごとに、誰の名前が挙がり、回答がどこから来たかを記録します。結果はアシスタントごとの数字です。いくつの回答のうち、いくつで会社の名前が挙がったか。
なぜ日付が必要か
日付のない数字は、確かめることも比べることもできません。どの時点を表しているのかわからないからです。それに、AIの回答は変わります。下のShotBookの例では、ゼロが別の数字に変わっています。だから私たちは、測定日のない数字は出しません。
日付があれば、古い数字が今日の数字として通ってしまうこともありません。
なぜ同じ質問、同じアシスタントなのか
前後を比べられるのは、ほかに何も変わっていないときだけです。質問を答えやすいものに替えれば、伸びは言い回しのせいかもしれません。もともと自社を知っていたアシスタントを加えても、同じことが起きます。
前
後
だから質問とアシスタントは開始前に書き出し、測定と測定のあいだで変えません。質問はひとつずつ新しいチャットに、一字一句そのまま入れます。何を結果とみなすかも、開始前に書き出します。
なぜゼロを見せるのか
ゼロは出発点です。何かが変わったかどうかを見るには、それしかありません。そしてゼロは、「効果は出ているのか」という問いへの正直な答えです。
ゼロの結果は隠しません。AIがまだ御社の名前を挙げていなければ、真っ先にお知らせします。
ゼロはレポートに残し、続けるかどうかは御社が決めます。
例：ShotBook
ShotBookは私たち自身のプロダクトで、公開している事例です。監督や編集者向けの映像リファレンス集です。AIがShotBookの名前を何回挙げたかを測定しました。
AIがShotBookの名前を挙げた回数
0/ 46
10/ 46
5つのゼロは、話から削りたい都合の悪い部分ではありません。ゼロがなければ、6回目の測定には比べる相手がありません。
この一連の測定からわからないこと
なぜゼロが10になったか。測定が記録するのは、AIの回答で何が変わったかであって、その原因ではありません。そして2026年9月7日の数字が表すのは2026年9月7日のことで、今日AIがどう答えるかではありません。
私たち自身のゼロ
同じやり方を、自分たちにも当てはめています。2026年10月2日、まだshyash.aiと名乗っていた私たちは、自社サービスについての買い手の質問を、社名を入れずにAIアシスタントに聞きました。私たちの名前を挙げたものは1つもありませんでした。96件中0件です。
このゼロが出発点です。次回は同じ質問を使い、新名称のaigoとして測定します。その際、旧名称のshyash.aiへの言及も数えます。
- 私たちの名前が挙がった回答。2026年10月2日の測定
- 0/96
どんな測定でも確かめるべきこと
AIの回答での伸びを見せられたら、こう聞いてください。
- それぞれの測定は何日に行いましたか？
- どんな質問をしましたか？そこに社名は入っていましたか？
- どのAIアシスタントに聞きましたか？前後で同じでしたか？
- 質問ごとに新しいチャットを使いましたか？
- 最初の測定では何が出ましたか？ゼロだったとしても教えてください。
答えがなければ、その数字を確かめる方法はありません。
同じ質問、同じAIアシスタント、新しいチャット。差をお見せします。ゼロの結果も含めて。