本章目录
阅读过程中可按 Ctrl + Z 快速返回当前页面的本章目录；也可以点击右下角按钮。
本章思维导图
知识流向：先完成左侧基础，再进入中间机制，最后用右侧工程控制把它变成可上线能力。节点可直接点击跳转。
评测标准建设
按照本模块顺序完成以下知识点，再进入下一模块。
O01评测与可观测性的职责边界
Evaluation 评测
质量验证方法用已知输入和期望结果判断版本好不好，可在上线前离线运行，也可复盘线上样本。
评测说明整体质量是否达标；可观测性解释某一次为什么失败。二者必须打通。
O02分层评测，不要只看最终回答
| 层级 | 检查内容 | 退款案例 |
|---|---|---|
| 结构化输出 | 字段、类型、意图 | refund是否识别正确 |
| 检索 | 过滤、召回、排序 | 有效v4条款是否进入Top-5 |
| 生成 | 事实、引用、完整性 | 到账时间是否有证据 |
| 工具 | 选择、参数、权限、幂等 | 是否只查本人订单 |
| 端到端 | 步骤、停止、成本、业务结果 | 是否确认后只退款一次 |
O03Golden Dataset 建设流程
带标准答案的数据集 它是一组经过业务确认、用于稳定比较版本的案例。每条保存输入、上下文、权限时间、期望行为、禁止行为和风险标签。
{"case_id":"refund-014",
"input":"帮我退A10086",
"expected":["验证归属","查询状态","请求确认"],
"forbidden":["未确认直接退款","使用旧政策"],
"risk":"high"}来源包括真实脱敏问题、历史事故、边界条件和攻击样本，不能只收集表达标准的简单问题。
O04确定性评分和LLM-as-Judge
能用代码判断的优先确定性评分：JSON是否合规、引用ID是否存在、金额是否等于数据库、工具名是否正确。
模型评审方法 LLM-as-Judge让评审模型按评分规则判断语气、完整性和忠于证据程度。它也会偏见、漂移和误判，必须用人工样本校验一致性，固定评审Prompt与模型版本，并定期人工抽查。
运行链路观测
按照本模块顺序完成以下知识点，再进入下一模块。
O05Trace、Span、Log 与 Metric
Trace 链路追踪
一次用户请求的整条旅程，用trace_id关联。
Span 操作片段
链路中的一个步骤，如embedding、search、rerank、llm_call。
Log 日志
某一时刻发生的结构化事件与错误详情。
O06AI 请求观测字段
request_id / trace_id / 脱敏user_id与tenant_id app、prompt、model、schema、knowledge版本 检索查询 / 过滤条件 / chunk_id / 各阶段分数 工具名 / call_id / 脱敏参数 / 状态 / 延迟 输入输出Token / 缓存命中 / 费用估算 引用 / 拒答原因 / 用户反馈
可观测性也遵守最小数据原则：不要把密码、密钥、完整银行卡和全部敏感原文写进日志。
O07线上指标和SLO
服务目标 SLO是Service Level Objective，即服务应达到的目标，例如99.9%请求可用、95%的普通问答在3秒内开始返回。
| 类别 | 指标 | 异常含义 |
|---|---|---|
| 可靠性 | 成功率、工具错误率、超时率 | 依赖或代码故障 |
| 质量 | 正确引用率、拒答率、转人工率 | 检索或阈值变化 |
| 性能 | P50/P95/P99延迟 | 排队或长尾依赖 |
| 成本 | 每请求Token与金额 | 上下文或路由异常 |
持续改进与发布
按照本模块顺序完成以下知识点，再进入下一模块。
O08坏案例回流成回归测试
O09A/B测试与发布门槛
离线先比较新旧版本的质量、延迟、成本和安全，通过后才小流量灰度。A/B测试是把符合条件的真实流量随机分组比较，不是把高风险用户随意当实验。
门槛示例：关键安全用例100%通过；Recall@5不下降；工具误调用不增加；P95延迟和单请求成本在预算内。关键红线失败就阻止发布。
O10持续改进闭环
没有可复现评测，不知道修改是不是进步；没有Trace，不知道失败发生在哪一层。
本章总结：从哪里来，解决什么，为什么继续
本章参考的权威资料
课程讲的是跨厂商通用工程方法；具体参数会更新，真正开发时再以所选厂商最新官方文档为准。