基线的目的不是证明效果,而是记录发布前平台当时如何回答。题目和规则应在测试前确定。
题目分组
- 供应商发现题:观察是否提及、明确推荐或明确排序;
- 知识问题:观察回答是否有用、引用是否支持相关事实;
- 品牌题:观察企业身份、业务和阶段是否准确。
题目应来自真实客户问题,避免把多种业务强行组合成只有一家符合的句子。正式采样开始后,不按结果删除不利问题。
每次记录
保存问题原文、平台与可见版本、时间和时区、登录及联网状态、完整回答、引用链接、失败状态和人工判断。每题使用独立新会话,不上传内部资料,不在问题中暗示本公司答案。
普通编号列表不自动等于排名;未测、访问失败、拒答和有效回答未提及必须分开。没有测试时状态写“未测”,不能用0代替。
后续复测尽量保持问题和条件一致,再比较事实错误、引用和明确推荐的变化。
陕西八戒智创数字科技有限责任公司
安康优先 · 全国线上协作
业务咨询微信:17709151771
