课程大纲 |
Agent知识体系与设计模式 |
- Agent的雏形
- Agent开发的基本框架
- Agent的设计模式
- 业界主流Agent的设计思路与使用
- Multi-Agent的雏形
- 业界主流Multi-Agent的设计思路
- 多Agent任务调度策略与选型
- Agent设计模式与选择
- Agent设计模式:顺序执行链模式与案例详解
- Agent设计模式:路由模式与案例详解
- Agent设计模式:并行模式与案例详解
- Agent设计模式:反思模式与案例详解
- Agent设计模式:工具使用模式与案例详解
- Agent设计模式:规划模式与案例详解
- Agent设计模式:多智能体协作模式与案例详解
- Agent设计模式:人类参与模式与案例详解
- Agent设计模式:短期记忆管理模式与案例详解
- Agent设计模式:长期记忆管理模式与案例详解
- Multi-Agent的基本逻辑和应用范围
- Multi-Agent应用示例:MetaGPT
- Multi-Agent应用示例:DevChat
- Manus的设计原理
- OpenClaw的设计原理
- OpenClaw的架构设计
|
Agent质量体系 |
- 质量的六个维度:正确性、可靠性、安全性、一致性、效率、成本
- 典型失败模式与根因分析(幻觉、工具误用、上下文丢失、死循环)
- 提示与工作流层面的质量工程
- 数据与知识质量:RAG 召回质量、上下文污染与压缩
- 鲁棒性设计:错误处理、重试、降级、幂等与超时
- 护栏与安全对齐:输入/输出过滤、权限最小化、合规边界
|
Agent能力评测的道法术器 |
- 大模型评测和Agent评测的区别
- 大模型和Agent能力评测的基本流程
- 评测体系总览:离线评测 vs 在线评测
- 测试集构建:任务集设计、黄金答案、合成数据
- 评测指标:任务成功率、轨迹质量、工具调用正确率、成本与延迟
- 评估者设计:规则校验、程序化断言、LLM-as-a-Judge
- 分层评测:组件级评测与端到端评测
- 回归测试与持续评测:把评测接入 CI/CD
- 人工评测与众包标注:何时必须靠人
- 目前主流评测手段的主要问题
- 评测的数据污染问题
- 数据污染的处理手段和保鲜机制
- 评测的数据饱和问题
- 数据饱和程度的感知方式
- 评测的数据简化问题
- 评测的任务分类体系问题
- 评测的难度等级问题
- 评测数据的自动生成
- 大模型能力评测维度
- Agent能力评测维度
- Agent反向提问能力评测
- 评测数据集与基准建设
- 评测数据集的结构设计
- 从真实数据泛化衍生新数据的方法
- 评测指标与评价标准的设计原则
- 常见评测指标设计思路解读
- 自动评测的局限与业界常见误区
- 人工手动评测的必要性
- 评测运行基础设施的架构设计
- 案例解读:SWE-Bench和SWE-Bench-Verified的设计
- 案例解读:软件研发全生命周期的LLM应用能力评测
- 案例解读:国内某互联网大厂的Agent评测体系设计
|
Agent 可观测性设计 |
- 可观测性三支柱:Trace、Metrics、Logs
- Agent Trace 设计:Span 建模、链路还原与轨迹回放
- 关键指标体系与监控看板设计
- 从日志到洞察:失败聚类、异常检测与根因定位
- 在线监控、告警与用户反馈闭环
|
工程化闭环与实践 |
- 迭代飞轮:观测发现问题 → 评测量化 → 优化验证
- 本与性能优化:缓存、模型分级、链路裁剪
- 版本管理、灰度发布与变更风险控制
- 综合实战案例:一个客服/研发助手 Agent 的完整工程化过程
|
AI原生应用质量保障的最佳实践与案例解读 |
- 从“测试”到“评测”
- AI原生应用的软件质量范畴衍生
- 非确定性的技术围栏
- 模型评测之外的质量保障
- 用魔法打败魔法的实践
- AI原生应用质量保障的特殊性和难点
- AI原生应用质量保障技术概览
- AI原生应用质量保障的基本方法
- AI原生应用质量保障的“可验证性”理论
- 区分模型能力和Agent能力
- AI原生应用评测的完整流程
- AI原生应用评测的数据集准备
- AI原生应用质量全生命周期的扩展
- AI原生应用评测的业界前沿实践
- AI原生应用评测的发展方向
- 企业级案例:LLM辅助编程工具的评测与质量控制
企业级案例:智能客服系统的评测与质量控制 |