Skip to content

RAG、提示词优化与微调 ​

核心答案:RAG 补充可检索的外部依据,提示词规定当前任务与输出要求,微调通过训练改变模型的行为分布。 三者可以组合,不能简单按“初级到高级”排序。

先判断失败原因 ​

症状优先检查常见干预
不知道刚更新的教材资料知识是否进入上下文RAG、资料版本管理
知道事实却不按要求组织任务说明是否清楚提示词、示例、结构化输出
大量相似任务持续出现稳定行为偏差是否有高质量训练与独立评测数据评估微调
译名违反地区规则规则是否显式加载与校验规则引擎与业务校验

微调不保证精确记住每条知识,也不会自动提供来源。RAG 检索正确同样不保证生成忠实引用。这里的判断来自任务链路分析,需要用评测验证,不能只靠名称判断效果。

输入与输出 ​

RAG 输入查询与元数据条件,输出带来源的片段;提示词输入规则、示例与任务,影响本轮生成;微调输入训练样本和基础模型,输出模型或适配器参数,再用于推理。OpenAI 的优化说明建议围绕评测迭代,而不是先选训练方案。

最小例子:区分知识缺失与执行错误 ​

python
cases = [
    {"evidence_present": False, "follows_format": True},
    {"evidence_present": True, "follows_format": False},
]
for c in cases:
    action = "先修检索" if not c["evidence_present"] else "检查提示与约束"
    print(action)

这是诊断分类演示,不是自动判断模型质量的评测器。真实实验应人工标注证据是否充分、输出是否支持结论,再统计不同错误。

教材项目的组合 ​

教材资料经 RAG 提供;术语、地区与角色规则直接加载;生成格式由 Schema 约束;独立评审检查业务问题。当前学习系统不实施微调,因为没有已确认的训练集、基线收益和训练资源。若以后出现大量固定格式或风格错误,可以先采集教研修订样本,划分训练与测试集,再比较提示词方案与训练方案。

切勿把同一教材的近重复片段分到训练集和测试集,再宣称泛化提升。应按文档、主题或时间隔离,并同时观察正确性、成本与延迟。见核心学习主线。

自测与误区 ​

设计三个失败案例:过期资料、漏掉词汇字段、译名不一致。分别说明要修改资料、Schema 还是规则;给出修改后可观察的证据。验收不是能背出三个定义,而是能定位改动层次。

“用了 RAG 就没有幻觉”“微调能替代数据库”“更长的提示词总更好”都不成立。上下文有预算,来源有噪声,训练也可能放大不良样本。

官方资料与版本边界 ​

核验日期:2026-11-03。微调是通用方法,不等于某厂商当前向所有账户提供训练服务。核验时 OpenAI 上述页面已提示部分能力进入 legacy;实际可用性需要另行确认,本项目不依赖该服务。

学习复现系统 · 事实、实验与假设分开记录