跳到正文

带日期的检测,零结果也算在内:我们在自己产品上看到了什么

为什么检测AI回答需要日期,前后需要同样的问题和AI助手,以及我们为什么保留零结果。示例:ShotBook。

发布于

阅读约 3 分钟

要点

  1. 关于AI回答的数字,只能对照三样东西来核实:日期、问题和AI助手名单。
  2. 问题和AI助手在开始前就写下来,两次检测之间不更换;每个问题都在全新的对话里问。
  3. 零结果会留在报告里:没有它们,就没有可以比较的对象。ShotBook连续五次检测,结果都是0/46;2026年9月7日的第六次检测,结果是10/46。

“AI开始更常提到这家公司了”,这句话怎么理解都行。这样的说法只能对照三样东西来核实:日期、问题和AI助手名单。

下面说明每一样为什么重要,以及在我们自己的产品上,一组检测是什么样子,零结果也包括在内。

一次检测是什么

一次检测,就是用客户的原话、不提公司名称,向选定的AI助手提出客户的问题,每个问题都在全新的对话里问。

对每个回答,我们记录它提到了谁、答案从哪里来。结果是每个助手各自的一个数字:在多少个回答中,有多少个提到了这家公司。

为什么需要日期

没有日期的数字无法核实,也无法比较:您不知道它描述的是哪个时刻。而且AI的回答会变化:下面ShotBook的例子就显示了零变成另一个数字。所以我们不引用没有检测日期的数字。

日期也能防止旧数字被当成今天的数字。

为什么要用同样的问题和同样的助手

只有在其他条件都没变时,才能比较前后。把一个问题换成更容易的,增长可能就来自措辞。加入一个本来就认识您的助手,也是同样的情况。

之前

之后

检测日期
同样的问题
同样的AI助手
每个问题一个新对话
只有当唯一变化的是日期时,才能比较之前和之后。

所以问题和助手在开始前就写下来,两次检测之间不更换。每个问题都逐字放进全新的对话里。什么算作结果,也在开始前写下来。

为什么要展示零结果

零是起点:只有这样才能看出有没有变化。而且,对“有没有效果?”这个问题,零是一个诚实的回答。

我们不隐瞒零结果:如果AI仍然没有提到您,您会第一个知道。

零结果会留在报告里,是否继续由您决定。

示例:ShotBook

ShotBook是我们自己的产品,也是公开案例,一个面向导演和剪辑师的视频参考素材库。我们检测了AI提到ShotBook的次数。

AI提到ShotBook的次数

0/ 46

10/ 46

第1-5次检测9月7日
AI提到ShotBook的次数。连续五次检测,结果都是0/46。第六次检测于2026年9月7日进行,结果是10/46。

这五个零不是故事里需要剪掉的尴尬部分。没有它们,第六次检测就没有可以比较的对象。

这组检测不能说明什么

零为什么变成了十。检测记录的是AI回答发生了什么变化,而不是原因。而且2026年9月7日的数字描述的是2026年9月7日,不是AI今天怎么回答。

我们自己的零结果

我们对自己也用同样的方法。2026年10月2日(当时我们还叫shyash.ai),我们向AI助手提出了关于我们服务的买家问题,不提我们的名字。没有一个助手提到我们:96个回答,0次提到。

这个零就是起点。下一次我们会用同样的问题,以新名称aigo进行检测,并把对旧名shyash.ai的提及也算在内。

提到我们的回答,2026年10月2日检测
0/96

对任何检测,都该问什么

当有人向您展示AI回答中的增长时,请问:

  • 每次检测是在哪一天做的?
  • 问了哪些问题,其中是否包含公司名称?
  • 用了哪些AI助手,前后是否相同?
  • 每个问题是否都在全新的对话里问?
  • 第一次检测显示了什么,哪怕结果是零?

如果得不到这些回答,这个数字就无从核实。

同样的问题,同样的AI助手,全新的对话。我们把变化展示给您,零结果也不例外。

全部文章