固定评测集与结果解释

本次评测运行于demo模式，数据库和pgvector距离计算是真的，Embedding与模型是明确标注的演示实现。它验证评测方法、流程和规则行为，不能证明真实模型准确率或历史生产收益。

固定样本在 system/samples/evaluation.json，执行器在 system/scripts/evaluate.py，原始结果见交付包 evidence/evaluation.json。本轮有6个检索查询×3种策略、3个生成场景×2个修订预算、5个评审样本×2种组合。

检索比较

策略	查询数	Hit@1	MRR@3	本次总耗时(ms)	Embedding调用数
keyword	6	1.00	1.00	24.55	0
vector	6	1.00	1.00	36.39	6
hybrid	6	1.00	1.00	54.78	6

这组样本很容易：主题词直接出现在文档里，所有策略命中并不意味着语义检索优秀。应加入同义改写、干扰文档、错地区、过期版本、中文长句和人工相关性标注，再比较召回。demo哈希向量不具备真实语义能力，单轮耗时也不是性能基准。

生成与修订比较

主题	修订预算	生成版本数	最终问题数	模型节点调用	本次耗时(ms)
校园生活	0	1	1	2	190.82
校园生活	2	2	0	4	212.0
天气观察	0	1	0	2	166.51
天气观察	2	1	0	2	160.29
交通出行	0	1	1	2	158.76
交通出行	2	2	0	4	234.45

“校园生活”和“交通出行”主动注入错误答案；不修订时问题保留，允许修订时经过生成→评审→修订→复审。差异证明状态转移与调用记录符合设计，不能推广为真实LLM修订成功率。正常样本没有多做修订。

评审组合比较

5个样本分别为无错、错误答案、禁用表达、缺译文和角色事实漂移。模板评审仅返回空报告，单独使用的exact-match为1/5；加确定性规则后为5/5。这个对比有意展示模板评审没有语义能力及业务规则的作用，不是一场真实模型与规则的公平效果竞赛。

真实评测应固定供应商/模型/提示词版本、检索数据快照和随机条件，使用人工标注的错误位置、类别及严重程度，统计Precision/Recall、误报、漏报和修订引入新错误。保留至少一组未参与规则开发的样本，避免把规则对训练样本的匹配率当泛化能力。

成本与观察口径

本轮外部调用费用为0，因为所有模型与素材均为demo。真实调用记录Token数量，只有配置了价格且返回了usage才估算文本成本；Embedding、图片和TTS真实费用仍需结合平台账单核对，缺失不记作0。延迟需要重复运行并报告P50/P95、并发和资源条件，本次仅保留单轮原始耗时。

cd system
docker compose stop worker
docker compose exec api python scripts/evaluate.py --output /data/evaluation.json
docker compose cp api:/data/evaluation.json ./evaluation.json
docker compose start worker

真实模式运行同一脚本会调用真实Embedding和模型，并使用正常生成场景；模板故障不注入真实调用。真实输出可能无法形成合适的评审基线，脚本应失败并提示人工补样本，不能用空结果得出优胜结论。本次尚未执行该在线评测。