带日期的检测,零结果也算在内:我们在自己产品上看到了什么
为什么检测AI回答需要日期,前后需要同样的问题和AI助手,以及我们为什么保留零结果。示例:ShotBook。
发布于
阅读约 3 分钟
要点
- 关于AI回答的数字,只能对照三样东西来核实:日期、问题和AI助手名单。
- 问题和AI助手在开始前就写下来,两次检测之间不更换;每个问题都在全新的对话里问。
- 零结果会留在报告里:没有它们,就没有可以比较的对象。ShotBook连续五次检测,结果都是0/46;2026年9月7日的第六次检测,结果是10/46。
“AI开始更常提到这家公司了”,这句话怎么理解都行。这样的说法只能对照三样东西来核实:日期、问题和AI助手名单。
下面说明每一样为什么重要,以及在我们自己的产品上,一组检测是什么样子,零结果也包括在内。
一次检测是什么
一次检测,就是用客户的原话、不提公司名称,向选定的AI助手提出客户的问题,每个问题都在全新的对话里问。
对每个回答,我们记录它提到了谁、答案从哪里来。结果是每个助手各自的一个数字:在多少个回答中,有多少个提到了这家公司。
为什么需要日期
没有日期的数字无法核实,也无法比较:您不知道它描述的是哪个时刻。而且AI的回答会变化:下面ShotBook的例子就显示了零变成另一个数字。所以我们不引用没有检测日期的数字。
日期也能防止旧数字被当成今天的数字。
为什么要用同样的问题和同样的助手
只有在其他条件都没变时,才能比较前后。把一个问题换成更容易的,增长可能就来自措辞。加入一个本来就认识您的助手,也是同样的情况。
之前
之后
所以问题和助手在开始前就写下来,两次检测之间不更换。每个问题都逐字放进全新的对话里。什么算作结果,也在开始前写下来。
为什么要展示零结果
零是起点:只有这样才能看出有没有变化。而且,对“有没有效果?”这个问题,零是一个诚实的回答。
我们不隐瞒零结果:如果AI仍然没有提到您,您会第一个知道。
零结果会留在报告里,是否继续由您决定。
示例:ShotBook
ShotBook是我们自己的产品,也是公开案例,一个面向导演和剪辑师的视频参考素材库。我们检测了AI提到ShotBook的次数。
AI提到ShotBook的次数
0/ 46
10/ 46
这五个零不是故事里需要剪掉的尴尬部分。没有它们,第六次检测就没有可以比较的对象。
这组检测不能说明什么
零为什么变成了十。检测记录的是AI回答发生了什么变化,而不是原因。而且2026年9月7日的数字描述的是2026年9月7日,不是AI今天怎么回答。
我们自己的零结果
我们对自己也用同样的方法。2026年10月2日(当时我们还叫shyash.ai),我们向AI助手提出了关于我们服务的买家问题,不提我们的名字。没有一个助手提到我们:96个回答,0次提到。
这个零就是起点。下一次我们会用同样的问题,以新名称aigo进行检测,并把对旧名shyash.ai的提及也算在内。
- 提到我们的回答,2026年10月2日检测
- 0/96
对任何检测,都该问什么
当有人向您展示AI回答中的增长时,请问:
- 每次检测是在哪一天做的?
- 问了哪些问题,其中是否包含公司名称?
- 用了哪些AI助手,前后是否相同?
- 每个问题是否都在全新的对话里问?
- 第一次检测显示了什么,哪怕结果是零?
如果得不到这些回答,这个数字就无从核实。
同样的问题,同样的AI助手,全新的对话。我们把变化展示给您,零结果也不例外。
延伸阅读
阅读约 3 分钟