AI测试开发工程师训练营

阶段

核心定位

难易程度

学习周期

能力目标

入门篇

夯实AI测试的“认知地基”与“工具基础”

★☆☆☆☆

1.5周

掌握AI测试核心概念与基础工具，建立AI测试思维框架

进阶篇

从“会用工具”到“能写代码驱动测试”

★★★☆☆

2.5周

掌握代码驱动测试能力，具备单场景实操与用例设计能力

高级篇

面向企业级落地的“智能自动化测试架构师”培养

★★★★☆

4周

掌握复杂系统测试方案设计与智能测试工具开发落地能力

专家篇

面向垂直领域与前沿技术的“AI测试专家”培养

★★★★★

4周

具备全行业AI产品专项测试与系统级质量保障能力

课程1：大模型基础认知及基础控制技巧

• 内容
  • 大模型能力基础认知
    • 大模型具有哪些能力
    • AI赋能常规测试场景
  • Coze平台介绍
    • 为什么先学习Coze：直观、便于建立认知及搭建基础DEMO
    • Coze基本功能介绍
    • 智能体开发要点介绍
    • 应用工作流开发要点介绍
  • 结合测试场景的模型输出控制技巧及案例
    • 技巧：不同位置提示词的作用、one-shot/few-shots，Reflection
    • 案例：测试用例生成、代码注释生成、测试错误理解
• 课时：2.5h（2h正课 + 0.5h答疑）
• 学习目标：建立模型的基础认知，熟悉Coze环境，并结合测试场景，理解如何利用技巧提升模型输出质量

课程2：Coze里的知识库和工具调用及测试场景案例

• 内容
  • 介绍知识库和工具调用对于大模型应用的意义
  • Coze知识库案例：
    • 使用Coze知识库搭建更准确的用例生成方案
    • 使用Coze知识库搭建测试计划生成方案
  • Coze工具调用案例：
    • 调用思维导图插件，制作测试用例思维导图
    • 调用Excel插件，制作用例Excel
• 课时：2.5h（2h正课 + 0.5h答疑）
• 学习目标：在Coze场景中建立对知识库和工具调用能力的认知

课程3：Coze测试智能体/工作流

• 内容
  • 梳理以Coze应用为代表的低代码AI应用设计开发思路要点
  • Coze应用界面+工作流组合实战：通过上传Swagger文档，自动生成测试用例数据表
  • 自动化实战：实际线上接口+Swagger文档的测试方案生成及自动执行
• 课时：2.5h（2h正课 + 0.5h答疑）
• 学习目标：在Coze场景中理解更完整的AI应用是什么样的，并结合实际工程测试场景，探讨低代码产品的优势和劣势，引入代码开发

课程4：AI测试开发基础之代码中的模型输出控制

• 内容
  • 探讨在代码工程中模型输出控制和日常对话的差异
    • 输入方式差异
    • 模型只负责做哪些/工程需要做哪些（比如对话记录管理）
    • 输出结构差异
    • 消费方式差异
    • In System At Runtime
  • 常见模型请求及控制方法
    • 直接请求/OpenAI SDK
    • LangChain
    • Agently
  • 实战案例：
    • 基础请求
    • 结构性数据输出
    • Prompt模板
    • 中间过程输出调试
• 课时：2.5h（2h正课 + 0.5h答疑）
• 学习目标：理解代码开发环境中使用模型能力与使用封装好界面的产品相比，有哪些关键区别以及优势。结合实际测试场景命题，完成在代码中对模型的实际请求。

课程5：AI测试开发基础之代码中调用工具和管理多轮对话

• 内容
  • 回顾加强模型输出控制方法
  • 实战：学习在代码中如何实现模型的多轮对话
  • 讲解Function Calling工作原理
  • 实战：在代码中复现Function Calling全过程
• 课时：2.5h（2h正课 + 0.5h答疑）
• 学习目标：在Coze工具调用概念基础上，进一步展开理解Function Calling实际发生了什么，并完成更完整的多轮对话机器人开发。

课程6：高阶实战之复杂测试处理流程编排/工作流

• 内容
  • 演示不依赖模型接口参数进行工具调用的案例
  • 介绍工作流概念
    • 探讨工作流在测试工作场景中的应用（结合DevOps的Pipeline讲解）
    • 探讨为什么工作流是目前使用最广的大模型应用编排方案？
    • 探讨在代码中进行任务编排的优势（和Coze对比）
  • 测试开发中进行AI工作流编排的工具包：LangGraph
  • 实战：构建自己的FunctionCalling流程
  • 实战：使用工作流进行意图解析和分流（如识别用户希望进行用例生成还是自动化测试）
• 课时：2.5h（2h正课 + 0.5h答疑）
• 学习目标：通过实际案例，帮助学员理解实际落地场景中，需要进行更复杂的任务编排；介绍复杂任务编排的可用工具，并带领学员完成复杂任务编排工作流的实际开发。

课程7：高阶实战之知识库（RAG）及测试用例管理智能体

• 内容
  • 介绍知识库/RAG工作原理
  • 学习使用Chroma搭建向量库
  • 学习知识条目入库处理流程及优化思路（切片、Embedding等）
  • 学习知识条目出库处理流程及优化思路（Rewrite Query，Query结果处理，Rerank等）
• 课时：2.5h（2h正课 + 0.5h答疑）
• 学习目标：通过实际案例，帮助学员理解知识库的价值和工作原理；带领学员完成一个包含基础流程的知识库问答机器人。

课程8：高阶实战之综合测试答疑智能体&自动化业务接口测试工作流

• 内容
  • 实战1：文档答疑助手（可存放需求文档、技术文档、用例文档等语料）
  • 实战2：自动化测试工作流（技术文档->测试用例规划->执行）
• 课时：2.5h（2h正课 + 0.5h答疑）
• 学习目标：带领学员结合所学知识，完成两个完整的命题。

课程9：多模态融合CV：解锁UI自动化测试新范式

• 内容
  • CV技术和多模态模型介绍
  • 当前 U 自动化测试技术概览及瓶颈分析
  • 多模态模型在UI自动化中解决方案
• 课时：2.5h（2h正课 + 0.5h答疑）
• 学习目标：了解计算机视觉对于测试行业中UI自动化的赋能，以及完成自AI+ui自动化的实战。

课程10：Web/App端UI自动化：元素识别与Diff实战精讲

• 内容
  • 多模态模型在UI自动化中解决方案
  • 实战：web端UI自动化+多模态模型diff
• 课时：2.5h（2h正课 + 0.5h答疑）
• 学习目标：了解计算机视觉对于测试行业中UI自动化的赋能，以及完成自AI+ui自动化的实战。

课程11：AltWalker与GraphWalker：模型驱动测试框架解析与接口变更测试实践

• 内容
  • 传统接口测试与模型驱动测试
  • Altwalker 和 Graphwalker 框架介绍和应用
  • 接口变更后对应的接口测试用例标记修改
• 课时：2.5h（2h正课 + 0.5h答疑）
• 学习目标：针对需求中的流程图如何测试，自动生成和组织测试用例，再通过接口自动化测试进行实战，解决传统接口用例难以维护的痛点。

课程12：企业级AI测试落地方案之AI赋能测试左移（上）

• 内容
  • DevOps与测试左移
    • DevOps中测试的角色
    • 测试左移的核心价值
  • 基于Agently4.0的测试左移实战
    • 实战操作：基于Agently4.0的需求理解、单测用例生成及代码生成
  • 基于AI的代码diff分析及用例关联
• 课时：2.5h（2h正课 + 0.5h答疑）
• 学习目标：理解DevOps中测试左移的核心价值与实现路径；掌握AI测试左移全流程自动化方法。

课程13：企业级AI测试落地方案之AI赋能测试左移（下）

• 内容
  • AI驱动的精准测试
  • 围绕知识图谱驱动的精准测试，先介绍知识图谱和Neo4j图数据库相关实战，后介绍需求变更/接口变更后的测试用例智能推荐和变更影响面智能评估。
    • 代码变更影响面智能评估
    • 测试用例智能推荐
  • AI监控Pipeline与日志分析
  • AI监控pipeline，动态识别 build log 进行问题原因初步过滤和分类，给出处理建议。
    • 日志分类与异常检测
      • 问题根因分析
• 课时：2.5h（2h正课 + 0.5h答疑）
• 学习目标：掌握AI实现智能监控方法；掌握AI驱动的精准测试实现方案。

课程14：企业级AI测试落地方案之AI赋能测试右移（上）

• 内容
  • 日志告警AI治理：传统日志监控和告警 VS AI 时代日志分析和告警日志分级，日志分析规则，模型能力处理日志。
  • 基于监控和日志进行系统风险评估和分析。
• 课时：2.5h（2h正课 + 0.5h答疑）
• 学习目标：让学员熟悉产品上线后的传统质量保障，解决传统行业异常乱报以及风险评估不够及时的问题。

课程15：企业级AI测试落地方案之AI赋能测试右移（下）

• 内容：
  • 线上流量回放方案传统方案介绍
  • AI+线上流量，提高产品稳定性和质量
• 课时：2.5h（2h正课 + 0.5h答疑）
• 学习目标：了解流量回放的作用，以及通过AI来完成流量回放中的数据匹配的问题，数据治理的问题。

课程16：AI系统测试基础：模型验证、数据质量与测试控制全解析

• 内容
  • AI系统的特点与挑战：深入探讨非确定性输出、数据依赖等特性及其对测试的影响。
  • AI测试生命周期管理：从规划到评估的全流程介绍，包括需求分析、设计、执行、评估及改进循环。
  • 模型验证与验证集的使用：详细介绍交叉验证、留出法等技术及其应用场景。
  • 性能指标与度量标准：涵盖准确率、召回率、F1分数、AUC等关键指标的计算方法和适用场景。
  • 模型鲁棒性和稳定性的评估方法：探讨如何通过各种手段提升模型在不同环境下的表现。
• 课时：2.5h（2h正课 + 0.5h答疑）
• 学习目标：掌握AI系统常见的测试方法和评估指标，并且针对AI产品可以设计可执行的测试方案。

课程17：案例课：大模型场景可用性测试（泛化）

• 内容
  • 大语言模型的标准测试（SuperGLUE）：了解SuperGLUE及其他基准测试集的作用
  • 大语言模型能力分类及测试方案：基于知识泛化的评测方法、指令泛化评测基准、鲁棒性与稳定性测试、模型容量与记忆-泛化平衡分析
  • 模型性能验证：基础性能评估（推理速度测试、显存/内存占用）
• 课时：2.5h（2h正课 + 0.5h答疑）
• 学习目标：大语言模型的基准测试与评估方法，以及基于大语言模型类产品功能测试通用方法。

课程18：电商售前客服机器人测试

• 内容
  • 自然语言产品难测的原因
  • AI产品测试体系构建：测什么及怎么测
  • 电商售前客服机器人测试实战：通过案例，实践测试用例设计、数据构建与结果评估技巧
• 课时：2.5h（2h正课 + 0.5h答疑）
• 学习目标：对话类产品测试实战。

课程19：计算机视觉测试实战：图像识别与生成的质量保障

• 内容
  • 计算机视觉技术介绍：图像分类、目标检测等核心技术原理讲解。
  • 图像识别系统的测试方法：精确度、召回率测试，边界条件测试等。
• 课时：2.5h（2h正课 + 0.5h答疑）
• 学习目标：掌握图像分类、目标检测等CV技术的测试方法，学习精度评估、边界测试及生成图像的质量判断，提升视觉系统的可靠性与鲁棒性。

课程20：视觉模型对抗样本防御与自动驾驶视觉测试

• 内容
  • 视觉模型对抗样本防御能力测试：介绍对抗样本的制作及其防御策略的测试方法。
  • 自动驾驶系统中计算机视觉组件的测试：专注于高安全要求的自动驾驶领域。
• 课时：2.5h（2h正课 + 0.5h答疑）
• 学习目标：视觉理解，图形生成，测试和质量评估方法；典型场景：自动驾驶端到端的视觉识别方法。

课程21：智能语音识别测试：声学模型、多语种与实时优化

• 内容
  • ASR模型行业介绍及技术原理
  • ASR模型行业指标和指标测试方法
  • 实战：声音模型产品语音识别测试
• 课时：2.5h（2h正课 + 0.5h答疑）
• 学习目标：语音识别系统的测试方法与优化策略，覆盖声学模型、多语种支持及实时性能。

课程22：智能语音生成与评测：从TTS原理到质量优化

• 内容
  • 语音生成的原理和机制：探讨TTS（Text-to-Speech）技术的基本原理。
  • 声音生成系统的质量测试方法：包括清晰度、自然度等方面的评估。
• 课时：2.5h（2h正课 + 0.5h答疑）
• 学习目标：掌握TTS语音生成核心技术原理，学习语音质量评估体系与方法，培养语音系统测试与优化能力。

课程23：案例课：AI大模型安全性测试

• 内容
  • AI安全测试重要性
  • 大模型安全性测试
  • 大模型算法备案安全评估报告模板
• 课时：2.5h（2h正课 + 0.5h答疑）

学习目标：实战：DeepSec、ART 测试工具使用。

• 培训总结
  • 核心知识点梳理与能力图谱对照
  • 职业发展建议与后续学习路径
  • 常见问题与解决方案汇总
• 附加资源
• AI测试工具包
• 实战项目源码与测试用例库
• 社区与学习平台推荐

阶段

课程数量

总课时

入门篇

3

7.5h

进阶篇

5

12.5h

高级篇

7

17.5h

专家篇

8

20h

合计

23

57.5h