通过Langchain善用大语言模型的“脑力”

讲师介绍：徐老师

bothub 创始人。毕业于上海交通大学计算机系试点班，在 Trilogy Software 写过大型企业软件；在 MediaV 担任技术总监，从零开始搭建支撑每天百亿流量的广告算法系统；2015 年，加入拼多多，参与重写拼多多的交易系统；2016 年底创办 bothub.ai，通过自然语言处理技术，为走向海外的中国企业提供英语的智能客服和社交网络营销服务

课程简介

随着GPT-4模型的发布，大语言模型体现出了通用人工智能（AGI）的潜力。特别是GPT-4的推理能力，使得我们可以通过大语言模型，自行制定计划并且根据计划执行。而通过外部的插件与工具这样的机制，我们可以让大语言模型操作外部的工具和系统。伴随着推理能力+行动能力的组合，我们可以快速开发出新一代的AI应用。

在这个分享中，我会带你了解 Reasoning + Action 这个新一代的AI应用开发模式。帮助你了解如何根据自己想要达成的目标，设计和开发基于大语言模型的AI应用。而不仅仅是局限于文案改写或者客服问答这样的简单场景。通过Langchain这个目前流行的开源库，实现AI自动写代码、AI自动进行商品推荐等一系列实用的应用场景。并且更近一步，设计一个有属于自己”记忆“、”身份“、”行为模式“的”电子脑”。

通过课程，让你深入应用“大型语言模型”解决问题，帮助你理解大语言模型的来龙去脉。希望在上完这个直播课之后，你能获得以下这些知识：

1. 自然语言处理问题，是如何从最简单的词频统计，一步步走到今天的生成式大语言模型的。
2. 我们希望通过AI解决的自然语言处理的问题，如何被拆分成一个可以被大语言模型解决的问题的。
3. 理解大语言模型最大的价值，不在于文本生成，而是逻辑推理。学会开发一个“有性格、有智商、有人设”的AI机器人。
4. 如何解决数据安全问题，既可以通过仅仅使用模型的推理能力，也包括尝试微调一个属于自己的开源模型。

希望能够覆盖以下四个角度的内容，覆盖到大型语言模型使用的方方面面

1. 大语言模型的前世今生

我们快速回顾一下NLP领域的整个历史，看看我们是如何从简单的字频一步步进化到GPT系列的大型语言模型的。这里主要覆盖两部分内容，分别是：

语言模型的发展历程：

       * 史前时代 - TF-IDF 和 朴素贝叶斯

       * 文明萌芽 - Word2Vec的出现

       * 文艺复兴 - RNN和LSTM

       * 工业革命 - Transformer和BERT家族

       * 奇点降临 - GPT-3和ChatGPT

自然语言处理的子问题：

       * 命名实体识别

       * 文本分类

       * 文本摘要

       * 自然语言推理

       * 自然语言生成

这个过程中，我们会同步体会，GPT可以直接解决这些子问题，而不再需要单独的模型。

2. 大语言模型的实战应用 - 自动问答篇

单个问题容易解决，但是真实场景中的 “AI” 往往要组合大语言模型中的各种能力。这一讲，我们就讲解常见的面向C端的产品，如何通过大语言模型的两个核心能力来实现。

大语言模型的核心接口：

       * Embedding，向量化，让自然语言问题变成传统机器学习问题

       * Completion，文本接龙，通过文本生成解决一切问题

实战应用：

       * 零样本分类和小样本分类 - 通过AI解决分类、聚类问题

       * 文本切分和Embedding - 如何让AI按照我自己的材料来回答问题

       * Langchain - 如何让AI能够根据外部的实时数据回答问题

这个过程中，我们会实际搭建一个AI应用，让你能用自然语言来分析数据库里的数据。

3. 大语言模型的实战应用 - 逻辑推理篇

如果只是问答、或者智能客服这样的应用，其实在ChatGPT出现之前，已经能解决得不错了。很多人会误以为，ChatGPT的强大之处在于说人话。但是ChatGPT，特别是从GPT-4最强大的不是“口舌之利“而是”聪明的大脑“。GPT-4体现出来强大的推理能力，让我们第一次看到了通用人工智能的曙光。

这部分，我们就来剖析和体验一下红火的 Generative Agents 和 AutoGPT 是如何实现的。本质上，我们就是尝试通过大语言模型，来模拟一个人类大脑：

       * Generative Agent 的原理剖析和实现

       * AutoGPT 的原理剖析和实现

4. 开源模型与数据安全 

因为数据安全的问题，我们并不一定方便把所有的数据都通过ChatGPT来处理。对于这个，我们可以通过以下几种方式来解决：

       * 如何避免发送隐私数据给到ChatGPT

       * 如何对开源模型进行指令微调，获得一个专属于自己的“大模型”

对应的，我们也会提供几个示例来解决问题。分别尝试解决

1. 过滤替换隐私信息，使用ChatGPT的问答能力

2. 随机干扰数据信息，使用ChatGPT的推理能力

3. 使用自己的数据语料，微调自己的大模型