Agent设计模式与质量保障的前沿实践

Agent设计模式与质量保障的前沿实践
    马上咨询
    课程大纲
    Agent知识体系与设计模式
    • Agent的雏形
    • Agent开发的基本框架
    • Agent的设计模式
    • 业界主流Agent的设计思路与使用
    • Multi-Agent的雏形
    • 业界主流Multi-Agent的设计思路
    • 多Agent任务调度策略与选型
    • Agent设计模式与选择
    • Agent设计模式:顺序执行链模式与案例详解
    • Agent设计模式:路由模式与案例详解
    • Agent设计模式:并行模式与案例详解
    • Agent设计模式:反思模式与案例详解
    • Agent设计模式:工具使用模式与案例详解
    • Agent设计模式:规划模式与案例详解
    • Agent设计模式:多智能体协作模式与案例详解
    • Agent设计模式:人类参与模式与案例详解
    • Agent设计模式:短期记忆管理模式与案例详解
    • Agent设计模式:长期记忆管理模式与案例详解
    • Multi-Agent的基本逻辑和应用范围
    • Multi-Agent应用示例:MetaGPT
    • Multi-Agent应用示例:DevChat
    • Manus的设计原理
    • OpenClaw的设计原理
    • OpenClaw的架构设计
    Agent质量体系
    • 质量的六个维度:正确性、可靠性、安全性、一致性、效率、成本
    • 典型失败模式与根因分析(幻觉、工具误用、上下文丢失、死循环)
    • 提示与工作流层面的质量工程
    • 数据与知识质量:RAG 召回质量、上下文污染与压缩
    • 鲁棒性设计:错误处理、重试、降级、幂等与超时
    • 护栏与安全对齐:输入/输出过滤、权限最小化、合规边界        
    Agent能力评测的道法术器
    • 大模型评测和Agent评测的区别
    • 大模型和Agent能力评测的基本流程
    • 评测体系总览:离线评测 vs 在线评测
    • 测试集构建:任务集设计、黄金答案、合成数据
    • 评测指标:任务成功率、轨迹质量、工具调用正确率、成本与延迟
    • 评估者设计:规则校验、程序化断言、LLM-as-a-Judge
    • 分层评测:组件级评测与端到端评测
    • 回归测试与持续评测:把评测接入 CI/CD
    • 人工评测与众包标注:何时必须靠人
    • 目前主流评测手段的主要问题
    • 评测的数据污染问题
    • 数据污染的处理手段和保鲜机制
    • 评测的数据饱和问题
    • 数据饱和程度的感知方式
    • 评测的数据简化问题
    • 评测的任务分类体系问题
    • 评测的难度等级问题
    • 评测数据的自动生成
    • 大模型能力评测维度
    • Agent能力评测维度
    • Agent反向提问能力评测
    • 评测数据集与基准建设
    • 评测数据集的结构设计
    • 从真实数据泛化衍生新数据的方法
    • 评测指标与评价标准的设计原则
    • 常见评测指标设计思路解读
    • 自动评测的局限与业界常见误区
    • 人工手动评测的必要性
    • 评测运行基础设施的架构设计
    • 案例解读:SWE-Bench和SWE-Bench-Verified的设计
    • 案例解读:软件研发全生命周期的LLM应用能力评测
    • 案例解读:国内某互联网大厂的Agent评测体系设计
    Agent 可观测性设计
    • 可观测性三支柱:Trace、Metrics、Logs
    • Agent Trace 设计:Span 建模、链路还原与轨迹回放
    • 关键指标体系与监控看板设计
    • 从日志到洞察:失败聚类、异常检测与根因定位
    • 在线监控、告警与用户反馈闭环
    工程化闭环与实践
    • 迭代飞轮:观测发现问题 → 评测量化 → 优化验证
    • 本与性能优化:缓存、模型分级、链路裁剪
    • 版本管理、灰度发布与变更风险控制
    • 综合实战案例:一个客服/研发助手 Agent 的完整工程化过程
    AI原生应用质量保障的最佳实践与案例解读
    • 从“测试”到“评测”
    • AI原生应用的软件质量范畴衍生
    • 非确定性的技术围栏
    • 模型评测之外的质量保障
    • 用魔法打败魔法的实践
    • AI原生应用质量保障的特殊性和难点
    • AI原生应用质量保障技术概览
    • AI原生应用质量保障的基本方法
    • AI原生应用质量保障的“可验证性”理论
    • 区分模型能力和Agent能力
    • AI原生应用评测的完整流程
    • AI原生应用评测的数据集准备
    • AI原生应用质量全生命周期的扩展
    • AI原生应用评测的业界前沿实践
    • AI原生应用评测的发展方向
    • 企业级案例:LLM辅助编程工具的评测与质量控制
    企业级案例:智能客服系统的评测与质量控制