课程大纲 |
深入理解Test4AI和AI4Test必须具备的LLM知识体系 |
- 大语言模型的基本原理详解
- LLM应用能力的进阶模型(“倒三角”模型)
- 提示词工程基础知识
- 主流提示词使用技巧
- 提示的万能使用公式详解
- 提示词模板的使用
- 提示词静态链的使用
- 提示词的横向扩展
- 提示词的纵向扩展
- Jinja2在大模型提示词工程中的应用
- 使用OpenAI API
- ReAct的概念和落地
- 思维链和多思维链
- RAG的基本原理与应用
- 多模态RAG的使用
- plugin机制与使用方式
- Function Call机制与使用方式
- MCP机制与使用方式
- Skill机制与使用方式
- 知识工程的设计
- Harness Engineering的设计
|
深入理解Test4AI和AI4Test必须具备的Agent知识体系 |
- Agent的雏形
- Agent开发的基本框架
- 业界主流Agent的设计思路与使用
- Multi-Agent的雏形
- 业界主流Multi-Agent的设计思路
- 多Agent任务调度策略与选型
- Agent设计模式与选择
- Multi-Agent的基本逻辑和应用范围
- Multi-Agent应用示例:MetaGPT
- Multi-Agent应用示例:DevChat
- Agent设计模式:顺序执行链模式与案例详解
- Agent设计模式:路由模式与案例详解
- Agent设计模式:并行模式与案例详解
- Agent设计模式:反思模式与案例详解
- Agent设计模式:工具使用模式与案例详解
- Agent设计模式:规划模式与案例详解
- Agent设计模式:多智能体协作模式与案例详解
- Agent设计模式:人类参与模式与案例详解
- Agent设计模式:短期记忆管理模式与案例详解
- Agent设计模式:长期记忆管理模式与案例详解
|
AI4Test(将AI技术应用于传统软件测试)技术与行业成功案例 |
- 使用OpenAI API实现单元测试用例的生成
- LLM用于单元测试用例生成的技术难点与解决思路
- 基于LLM增强传统API自动化测试的行业实践
- 使用OpenAI API实现API接口测试用例的生成
- 使用DeepSeek 实现API组合调用测试用例的生成
- LLM用于API接口测试用例生成的技术难点与解决思路
- 基于LLM实现可测试性工具的自动生成
- 基于LLM实现测试数据的自动生成
- 基于LLM增强传统GUI自动化测试的行业实践
- 基于LLM增强传统性能测试的行业实践
- 基于LLM增强混沌工程的行业实践
- 测试脚本开发中的GitHub Copilot应用
- 基于OpenClaw实现E2E测试用例的辅助设计与执行
- 基于AI Agent的测试用例设计生成技术
- 基于AI Agent的测试用例脚本生成技术
- 基于Multi-Agent的测试用例设计生成技术
- 基于Multi-Agent的测试用例脚本生成技术
- 使用LLM实现Monkey Test的能力扩展
- 使用LLM实现无脚本的Mobile App探索测试
- 使用LLM识别错误敏感的测试数据
- 使用LLM实现失败测试用例的自动修复
- 使用LLM提升被测对象的可测试性
- 企业级案例:基于需求结构化的E2E GUI自动化测试脚本的生成
|
Test4AI(AI原生应用如何进行测试)技术与行业成功案例 |
- 从“测试”到“评测”
- 模型评测的技术概览
- 模型评测的基本方法
- AI原生应用评测的技术概览
- AI原生应用评测的基本方法
- AI原生应用评测的“可验证性”理论
- AI原生应用评测的特殊性和难点
- 区分模型能力和Agent能力
- AI原生应用评测的完整流程
- AI原生应用评测的数据集准备
- AI原生应用质量全生命周期的扩展
- AI原生应用评测的业界前沿实践
- AI原生应用评测的发展方向
- 企业级案例:LLM辅助编程工具的评测与质量控制
- 企业级案例:智能客服系统的评测与质量控制
|
大模型和Agent能力评测的道法术器 |
- 大模型评测和Agent评测的区别
- 大模型和Agent能力评测的基本流程
- 目前主流评测手段的主要问题
- 评测的数据污染问题
- 数据污染的处理手段和保鲜机制
- 评测的数据饱和问题
- 数据饱和程度的感知方式
- 评测的数据简化问题
- 评测的任务分类体系问题
- 评测的难度等级问题
- 评测数据的自动生成
- 大模型能力评测维度
- Agent能力评测维度
- Agent反向提问能力评测
- 评测数据集与基准建设
- 评测数据集的结构设计
- 从真实数据泛化衍生新数据的方法
- 评测指标与评价标准的设计原则
- 常见评测指标设计思路解读
- 自动评测的局限与业界常见误区
- 人工手动评测的必要性
- 评测运行基础设施的架构设计
- 案例解读:SWE-Bench和SWE-Bench-Verified的设计
- 案例解读:软件研发全生命周期的LLM应用能力评测
- 案例解读:国内某互联网大厂的Agent评测体系设计
|
AI原生应用质量保障的最佳实践与案例解读 |
- 从“测试”到“评测”
- AI原生应用的软件质量范畴衍生
- 非确定性的技术围栏
- 模型评测之外的质量保障
- 用魔法打败魔法的实践
- AI原生应用质量保障的特殊性和难点
- AI原生应用质量保障技术概览
- AI原生应用质量保障的基本方法
- AI原生应用质量保障的“可验证性”理论
- 区分模型能力和Agent能力
- AI原生应用评测的完整流程
- AI原生应用评测的数据集准备
- AI原生应用质量全生命周期的扩展
- AI原生应用评测的业界前沿实践
- AI原生应用评测的发展方向
- 企业级案例:LLM辅助编程工具的评测与质量控制
- 企业级案例:智能客服系统的评测与质量控制
|
LLM在软件研发全生命周期中的应用(质量视角:大厂独家案详细解读) |
- 软件研发全流程中LLM擅长的部分
- 软件研发全流程中LLM不擅长的部分
- 竞品分析与市场调研阶段LLM的应用场景与案例
- 产品概念与产品定义阶段LLM的应用场景与案例
- 产品原型阶段LLM的应用场景与案例
- 产品体验设计阶段LLM的应用场景与案例
- 需求分析阶段LLM的应用场景与案例
- 技术选型阶段LLM的应用场景与案例
- 顶层设计阶段LLM的应用场景与案例
- 详细设计阶段LLM的应用场景与案例
- 从设计到UML,从UML到代码的完整示例
- 编码阶段LLM的应用场景与案例
- 代码评审阶段LLM的应用场景与案例
- 单元测试阶段LLM的应用场景与案例
- 接口测试阶段LLM的应用场景与案例
- 持续集成流水中LLM的应用场景与案例
- 各类软件工程文档中LLM的应用场景与案例
- 持续发布中LLM的应用场景与案例
- 性能测试阶段LLM的应用场景与案例
测试结果分析中LLM的应用场景与案例 |