基于AI大模型+RAG的质量保证全链路效能提升

公开课 / 2024-11-20 13:56:36
基于AI大模型+RAG的质量保证全链路效能提升
    马上咨询


    基于AI大模型+RAG的质量保证全链路效能提升公开课报名中
    技术特点：
    1. 有当堂真实自动化运行演示，所有真实实现的自动化技术均来自讲师的实际工作成果
    2. 分享建立私有大模型及RAG的实战经验，讲解LLM运用RAG自动生成测试案例及分析结果的分层实现技术
    3. 讲师实际编写过多个自动化测试工具，会分享多种自动化工具的定位和集成效能，所以不依赖特定自动化工具，学员将会系统化学习从自动化的框架层、到工具层、到用例封装的技术实现
    4. 因为本课程并非编程课，所以对学员并不要求编程基础。但学员最好有基本的技术意识。例如，上学期间学过基础类的软件知识。以便可以理解技术设计思想

     

    业界普遍问题 —— 将在课程中要逐一解决：
    • 大模型及RAG到底是什么？有什么用？
    • AI + 自动化测试的具体实现是怎样的？
    • 大模型测试有哪些具体优势？又有哪些局限？
    • 如何进行大模型快速环境部署？及测试数据生成？
    • 自动化测试是不是只解决回归测试或功能测试，是否可全线覆盖各种测试类型（例如性能测试、压力测试、安全测试等自动化如何做）？
    • 如何使用自动化测试来实施TDD（测试驱动开发）？
    • 自动化测试的具体实现是怎样的？希望有实际案例、及细节实现过程
    • 如何提高自动化测试的技术复用性？
    • 如何进行数据驱动测试？以及自动化测试的架构最佳实践？
    学员问题收集：

    学员会在课前收到一份问题收集表，可将自己关心的具体问题提出，讲师会根据每期学员的焦点问题调整课程重心。


    课程安排：
    生成式AI部分：
    模块
    课题
    注释

    总纲：AI大模型在质量测试的应用总览

    1. 大模型技术在App测试的应用
    2. 基于AI视觉分析的App前端测试自动化
    3. 大模型辅助移动端性能测试指标分析、趋势监察、瓶颈定位
    4.  大模型辅助移动端需求分析及检测测试用例对需求的覆盖率
    5. 通过大模型检索设计标准核对，加强合规性检查及设计缺陷预防
    6. 大模型辅助移动端测试用例设计及边界检查
    7.  生成式AI辅助缺陷报告生成
    8. 大模型辅助质量管理关键信息检索和追踪
    本章介绍生成式AI在质量测试领域有哪些应用落地点，尤其是对App移动端测试、性能测试、整体测试技巧完善、测试效能提升等方面都有哪些应用

    模块一：系统理解生成式AI和大模型

    1. 何为生成式AI （AIGC）、与传统AI的本质区别是什么
    2. AIGC领域的重要应用——LLM（大模型）
    3. 由AI视角解释LLM大模型工作原理：分别详述“L”-“Language”-“Model”技术原理
    4. 理清大模型的核心概念和相互关系：Token、向量、嵌入、Transformer等
    5. 有哪些好用的大模型：Chat GPT以及类似的中英文开源大模型
    6. 每一个“我”如何在庞大的AI生态系统中找准自己的定位
    随着大模型的爆发式增长，AI技术对各行业生产力的提高开始显现巨大的影响，某些领域的工作方式和思维方式都在AI加持之下产生巨变。现代企业的技术团队需要对生成式AI有一个系统全面的理解

    模块二：搭建你的定制专属大模型+增强检索RAG

    1. 通用大模型vs私有大模型，及应该如何选择
    2. 哪些情况需要企业搭建针对性的私有大模型
    3. 构建私有大模型的核心条件和准备工作
    4. 搭建私有大模型的关键步骤、顺序、及依赖关系
    5. 深入理解：大模型训练vs模型微调vs增强检索RAG的核心区别、实施成本、实施难度、和应用场景定位
    6. 大模型具体应用落地的重要抓手——RAG
    7. RAG技术详解：RAG数据集合、RAG分块策略、RAG模型嵌入
    8. 大模型智能体内部解剖
    9. 大模型的幻觉及阈值调试
    10. 实施：私有大模型的算力要求和投入估算
    学习和理解生成式AI以及大模型是为了更好地应用到自己企业或部门以解决实际问题或提高生产力。仅靠通用大模型并不能深入满足特定企业或岗位的应用，例如，如何使用大模型增强QA测试能力、项目管理能力、开发效率、财务分析能力等。本章介绍为使得大模型在具体企业或岗位应用落地需要学习和理解的RAG技术的必要性和知识准备


    AI在质量测试领域的应用部分：
    模块
    课题
    注释

    模块三：基于AI辅助的测试用例生成及优化

    1.  运用AI进行等价类用例设计
    2. 运用AI可极大提升边界值用例设计效率
    3. 运用AI进行用例格式规范检查
    4. 利用大模型对大规模测试用例进行结构化分层、提高复用率
    本章介绍基于生成式AI进行测试用例的生成、优化、范式保证、以及结构化优化的应用

    模块四：AI大模型对QA结果的自动分析和归纳总结

    1. 应用大模型基于大量原始测试数据生成测试报告和关键信息提取
    2. 基于AI大模型分析的数据统计及数据挖掘，如何自定义及实现一套Dashboard
    3. 通过AI大模型来快速精准定位整个系统的质量弱点，为敏捷测试及持续交付提供AI分析
    4. AI统计通过率、各种Top10及缺陷与用例的关联
    5. 大规模自动化测试及数据分析的实际演示与详解
    在实际工作中构建了两套大规模自动化实验室和私有大模型+RAG知识管理系统。这一章让我们先一起来看一下一套实际运行的自动化及持续集成系统加持AI大模型分析后的真实应用是怎样的以及效果如何。对整体的设计思路和目的性有一个系统认识，然后从下一模块开始展开细节，讲解如何进行技术实现的

     

     

     

    模块五：AI对自动化测试的辅助

    1. 适配AI应用的自动化架构框架设计
    2. 应用大模型生成测试脚本
    3. 应用大模型生成数据驱动的自动化数据文件
    4. 基于AI图像识别的UI或App前端自动化
    5. 性能测试的自动化的难点及数据分析
    6. 全球化和本地化测试的自动化（适用于多语言或定制开发项目）
    这一章是AI助力自动化测试的重要实战部分，将对每一种测试方法的重点、难点和实施技巧进行讲解，用一个真实的企业级软件项目作为案例，讲解如何在一个真实项目中逐一实施这些测试方法的自动化

    模块六：AI在测试领域落地的流程支撑

    1. AI大模型助力测试领域的工作模式和质量标准先决条件
    2. 需求数据的质量如何管控？管控方法实践分享
    3. 高质量输入数据对AI生成测试用例的实战经验分享
    4. 架构设计需不要质量？管控方法分享
    AI大模型并非万能，对于输入数据、尤其是需求的清晰度和严谨度提出了更高的要求。本章将分享讲师在真实项目中打磨的实战方法，此方法已经在多个团队实施，有着非常好的实际结果

    模块七：从DevOps进化到MLOps

    1. 机器学习ML+DevOps总体建设思路
    2. AI+自动化测试+持续集成的运行部署策略
    3. 测试环境及测试数据的自动化部署
    4. Pass Rate：测试活动的重要标准
    5. AI辅助分析代码覆盖率检查
    6. AI辅助自动化测试的缺陷跟踪
    7. AI辅助分析多机器池自动化部署及优化
    8. 如何将AI+大规模自动化+版本控制+持续集成部署为一个复杂完备的大型质量保证体系，从而实现MLOps
    随着自动化的规模化实现，在多维度引入AI可实现各自动化模块即可单独运转、有着自己清晰的功能，也可协同运转成为一个高阶自动化系统。从而为敏捷测试及持续交付提供强力的技术支撑。AI的引入，对于质量保证的技术、效率、思维方式都产生了巨大的改变！

      

     

    最新动态

    点击阅读更多内容
    返回顶部