同一个问题,五个模型给出五种答案
把一个品牌问题分别抛给豆包、DeepSeek、腾讯元宝、文心一言和 Kimi,得到的回答常常差异明显:有的能准确说出主营业务与客户类型,有的只说「是一家相关领域公司」,有的会把竞品的信息混进来。
原因不难理解:不同模型的训练语料、检索范围、回答风格都不同。有的偏重官网与百科,有的更常引用媒体和问答社区;有的回答精简,有的会展开对比。
问题在于,企业过去习惯用「单次提问」判断自己的 AI 表现。问一次,被提到了,就认为状况良好;没被提到,就急着加内容。这种判断方式几乎必然误判。
一套轻量的监测框架
不需要采购昂贵的工具,先建立可重复的方法。
- 固定问句集。按「品类词、场景词、对比词、品牌词」四类,各准备 5 个问句,共 20 个。问句一旦确定,半年内不要改,否则前后不可比。
- 固定模型与时间。每次同一批模型、同一时间段采样,减少波动干扰。
- 记录回答原文。不要只记录「有没有提到」,原文才能看出描述是否准确、是否混入错误信息。
- 分类标注。把每条回答标成:未提及、提及但模糊、提及且准确、提及但错误、提及但负面。
区分「没被提到」和「被说错」
这两种情况的处理方式完全不同。
没被提到,说明召回不足。要补的是覆盖:内容是否回答了这个问句、是否有结构化素材、是否在模型常引用的来源里出现。
被说错,说明事实源有问题。要补的是治理:清理旧页面、修正错误转载、统一口径。这时候继续加内容,只会让错误版本更多。
被说成负面,则要看是否为真实问题的反映。真实的服务投诉不能靠内容掩盖,需要业务侧解决;失实的负面信息才走信息治理路径。
从监测到行动的优先顺序
监测的价值在于排序,而不是打分。建议按这个顺序处理:
- 先修错误信息,尤其是涉及资质、价格、安全的高风险项。
- 再补高频问句的结构化内容,优先覆盖「怎么选」「多少钱」「哪家好」。
- 最后做扩展覆盖,把长尾场景补齐。
坚持三个月,通常会看到「提及但模糊」的比例下降,这比单纯的提及率上升更能说明品牌认知在变清晰。
