AI应用高级工程师 · 第 12 / 12 章

部署、测试、监控与LLMOps

最后一章把全部组件变成可交付、可升级、可监控、可回滚的生产系统。上线不是终点,而是版本控制和反馈闭环的开始。

上一章
已经能控制延迟、并发、缓存、路由和成本。
→
本章解决
经过环境隔离、自动测试、容器、灰度、监控和灾难恢复安全上线。
→
下一章
进入贯穿12章的综合项目实作与最终验收。
学完后的结果:你能设计生产架构和发布流程,管理代码、Prompt、模型、Schema、知识库及索引版本,并在故障时回滚。

本章目录

阅读过程中可按 Ctrl + Z 快速返回当前页面的本章目录;也可以点击右下角按钮。

本章思维导图

知识流向:先完成左侧基础,再进入中间机制,最后用右侧工程控制把它变成可上线能力。节点可直接点击跳转。

MODULE 01

准备生产环境

按照本模块顺序完成以下知识点,再进入下一模块。

D01Development、Test、Staging、Production

环境用途数据原则
开发个人调试假数据或脱敏数据
测试自动测试可重复构造
预发布模拟生产和验收与生产隔离
生产服务真实用户严格权限、审计和变更控制

不同环境使用不同密钥、数据库、向量Collection和工具权限,测试Agent不能调用真实退款。

生活中的例子:开发、测试、预发布、生产像练习厨房、试菜间、内部试营业和正式餐厅,不能共用真钱订单。

D02配置、Secrets和版本清单

配置由环境或配置服务注入;密钥放Secret Manager,不写代码、不写HTML、不放Prompt。每次发布都要知道具体版本。

release_id: customer-ai-2026.09.15.3
app_image / prompt_version / model_route_version
schema_version / knowledge_version
embedding_model / vector_index_version
生活中的例子:版本清单像药品批号,出问题时能准确知道用了哪批原料和配方。

D03容器、无状态和外部状态

部署打包方式 Container容器把应用和依赖打成一致运行单元。API尽量Stateless无状态:任何实例都能接请求;会话、任务、幂等记录放PostgreSQL/Redis等外部存储。

会话只存在某台机器内存,下一请求落到另一实例就会“失忆”,也无法安全横向扩容。

生活中的例子:容器像标准集装箱;无状态服务像任意窗口都能服务,档案统一放中央系统。

D04健康检查和优雅关闭

Liveness存活

进程是否卡死,失败可重启。

Readiness就绪

是否可接流量,未准备好先摘流量。

Startup启动

给慢启动服务时间,避免误杀。

Graceful Shutdown

停止接新请求,完成在途任务或保存检查点。

生活中的例子:健康检查像司机出车前检查发动机、是否可以载客以及停车时如何安全交班。
MODULE 02

测试与发布

按照本模块顺序完成以下知识点,再进入下一模块。

D05AI系统测试分层

测试例子
单元权限过滤、金额规则、幂等键、缓存key
Contract契约模型Schema、工具API、向量字段兼容
集成数据库+向量库+模型模拟服务
离线AI评测检索、生成、工具、攻击用例
端到端从请求到业务状态和审计
负载/故障高并发、429、超时、依赖中断
生活中的例子:造桥既要测单个螺丝,也要测桥段连接、整桥承重和极端天气。

D06CI/CD从提交到上线

自动交付流水线 CI持续集成负责构建测试;CD持续交付或部署负责送入环境。

代码/Prompt变更
→
测试
→
AI回归+安全门槛
→
不可变版本
→
预发布→灰度

Prompt、Schema、路由和知识库变化也属于发布,不能绕过测试。

生活中的例子:CI/CD像工厂流水线:每次改配方都自动检查、试产、验收后才出厂。

D07滚动、蓝绿和金丝雀发布

策略做法权衡
Rolling滚动逐批替换实例省资源;新旧短时共存
Blue-Green蓝绿完整新环境准备后切流量回退快;资源贵
Canary金丝雀少量真实流量先用新版早发现问题;需要精确监控

默认:离线门槛→Staging→小比例Canary→监控质量、安全、延迟、成本→逐步扩大。

生活中的例子:金丝雀发布像新菜单先在一家分店小范围试卖,确认没问题再推广全国。

D08回滚不只是回滚代码

AI发布还可能改变Prompt、模型路由、工具Schema、知识版本和向量索引。回滚计划要标明哪些组件一起恢复,以及数据库变更是否向后兼容。

告警 → 停止扩流 → 切回稳定release_id
→ 恢复匹配Prompt/路由/知识版本
→ 验证关键路径 → 复盘

代码回滚不会撤销已经发生的真实退款;依靠幂等、审计和补偿处理。

生活中的例子:菜谱回滚不等于撤回已经卖出的食品;真实业务后果需要审计和补偿。
MODULE 03

运营与最终验收

按照本模块顺序完成以下知识点,再进入下一模块。

D09监控、告警和Runbook

故障操作手册 Runbook写清告警含义、检查顺序、负责人、止损、恢复验证和升级路径。告警必须可行动。

告警

错误率、P95、队列积压、无答案率、越权拒绝异常、成本突增。

处置

查哪个Trace;是否关工具、切备用模型、回滚知识;恢复后测哪些用例。

生活中的例子:Runbook像飞机故障手册,告警后按明确步骤检查、止损和升级负责人。

D10备份、RPO和RTO

RPO是最多接受丢多少时间的数据;RTO是多久必须恢复。备份要定期恢复演练。

覆盖业务库、会话任务、知识源、版本配置和审计。向量可以从Chunk重建,但重建时间要计入RTO。

生活中的例子:备份像消防演练:仓库有灭火器不等于会使用,必须真的演练恢复。

D11最终生产架构

客户端+鉴权
→
AI编排服务
→
模型/检索
+
数据库/Redis/向量库
+
受控工具

外围还有对象存储、队列、Secret管理、Tracing、评测、CI/CD、审计、备份和告警。

生活中的例子:生产架构像城市系统,交通、电力、医院、警察和监控共同工作。

D12高级工程师完成标准

能构建

模型、结构化输出、RAG、工具、Agent和状态记忆。

能证明

用评测、指标、Trace证明质量。

能保护

处理权限、注入、敏感数据、幂等和审计。

能运营

控制成本性能,测试发布,排错回滚。

读完只是完成知识地图第一遍。还要完成贯穿项目、评测、攻击测试、故障演练和独立答辩,才算最终验收。

生活中的例子:看完驾校教材只是懂规则,真正拿证还要上路练习、处理突发情况并通过考试。

本章总结:从哪里来,解决什么,为什么继续

上一章留下的问题怎样把系统交付生产并长期运营
本章形成的能力生产化需要版本、测试、灰度、监控、告警、备份和回滚;读完后还需综合项目验收。
下一章必须继续解决进入综合项目,把12章能力真正做出来

本章参考的权威资料

课程讲的是跨厂商通用工程方法;具体参数会更新,真正开发时再以所选厂商最新官方文档为准。

← 上一章性能、成本、并发与模型路由完成12章后回到总目录并进入综合项目
↑ 返回本章目录Ctrl+Z