大模型调用
与上下文工程

路线12章中的位置

M00API 调用基础术语

后面会频繁看到这些词。它们不是 Python 基础，而是 AI 应用与模型服务通信时必须知道的接口概念。

response = 模型SDK.生成(
    model = "某个聊天模型",
    messages = [...],
    temperature = 0.2,
    max_output_tokens = 800
)

answer = response.output_text

失败会怎样：可能超时、限流、网络断开、余额不足、模型拒答或输出截断。后端必须识别这些状态，有限重试、降级或明确报错，不能假装业务已经成功。

M01模型在系统里的真实位置

公司专家类比：模型像一名擅长语言的外聘专家。公司决定给它看哪些材料、允许它提出哪些操作，并检查它的结论；不能把公司的钥匙和全部权限直接交给它。

M02模型请求与响应结构

{
  "model": "所选模型",
  "messages": [
    {"role": "system", "content": "只能根据政策资料回答"},
    {"role": "user", "content": "退款多久到账？"}
  ],
  "temperature": 0.2
}

模型根据本次请求中的内容生成结果。下一次请求如果仍需要旧对话，应用必须再次携带相关历史。模型不会因为上次被调用过，就自动拥有可靠的永久记忆。

M03四种消息角色

M04上下文书包

输入 Token + 预留的输出 Token ≤ 模型上下文窗口

装不下时，应保留必要规则和最相关资料，摘要较早对话、删除重复内容，并为最终答案预留空间。不是把所有东西硬塞进去。

M05上下文、记忆与知识库的边界

M06三个最容易混淆的控制项

M07流式与非流式

关键点：流式主要改善主观等待体验，并不代表模型更早完成全部工作。

M08幻觉的形成机制

应对幻觉不能只调低 Temperature。需要让模型能说“不知道”，用 RAG 提供权威资料、用工具查询实时事实、保存引用、校验高风险输出，并用评测持续检查。

M09Prompt、RAG 与工具的职责分工

不可越界：模型输出“退款成功”不代表退款真的发生。只有受控程序成功调用退款系统，业务操作才算完成。

M10生产调用的保护壳

保护壳还需要超时、429 退避、有限次数重试、并发限制、Token 统计、Prompt 版本、备用模型和敏感信息处理。模型返回文字只表示“生成完成”，不等于“业务正确完成”。

M11完整模型调用链

规则与行为 ───────────────→ Prompt
 企业可检索知识 ──────────→ RAG
 实时查询与真实操作 ───────→ Tool
 本轮历史和用户问题 ───────→ Context
 模型理解与生成 ───────────→ Model
 校验、权限、日志、重试 ───→ Application
 最终安全结果 ─────────────→ User

下一章

第 02 课：结构化输出与模型结果校验

将详细解释 JSON Mode、JSON Schema、字段类型、格式校验、业务校验、失败重试，以及“格式正确但业务仍然错误”的原因。