0、写在前面 & 专栏简介

大模型的发展早已势不可挡了。

你可能在很多场合都听到过 Transformer 的名字，你肯定也了解过这两年无论是国内还是国外，AI 大模型的发展非常迅速，已经在很多传统领域掀起了革命性的创新热潮。

在 AI 大模型面世后，人们纷纷使用 AI 大模型进行绘画和文章创作、自媒体创作（如小红书文案和配图）、代码续写、网页内容整理、思维导图制作、PPT制作甚至用 AI 制作短视频。可以说，你所能想到的工作和生活场景，几乎都有 AI 大模型参与的身影。一句话：大模型可以落地并为你提效的场景太多了！

事实上，这些火爆、高效充满“智能”的大模型，无论是国外的GPT系列，还是 Meta (原FaceBook）的 LLaMa系列，还是国内的 Kimi、讯飞星火、百度文心、清华智浦、商汤小浣熊等大模型，基本上都是基于 Transformer 架构演化而来的。

可以说， Transformer 架构是目前主流 AI 大模型的核心。

本专栏便将围绕着 Transformer 这一架构，来拆解自然语言处理和 AI 大模型有关的背景、底层技术和算法原理。

在拆解的过程中，会有很多相关背景知识的介绍。希望你再阅读完本专栏后，不仅可以对以 Transformer 架构为核心的大模型有一定的了解，还可以对大模型的底层细节和技术背景有更加深刻的认识。

本专栏定位虽然是聚焦在算法和技术方面的内容，但为了让你在阅读过程中不至于过于枯燥，我会给出许多经典 AI 大模型的使用方法和体验链接，包括在网页上直接使用 AI 大模型，以及使用 Python 代码调用相关大模型的 API 接口等，当然，也会会给出一些好玩的大模型应用。

1、专栏学习模式

目前本专栏的内容已经完成了更新，也经过了多次校正和内容的修改。

根据以往读者的反馈，现提供 3 种针对本专栏的学习模式，你可以根据自己的实际情况来选择适合自己的学习模式。

• 模式一

模式一为订阅学习模式，你可以直接订阅本专栏进行学习和阅读，订阅完成后，所有内容可以终身阅读。

该模式适合自学能力强的同学。

🍎注：该模式不包含答疑服务。

• 模式二

在模式一的基础上，提供答疑服务。

你如果在学习过程中遇到相关难点、理解不透彻的点、或者其他与 AI 视觉有关（可以是不属于本专栏的内容），都可以加我微信 ddcsggcs 预约答疑咨询。

• 模式三（原训练营模式）

这种模式提供个人集中训练，个人集中训练包含两个方面：

• 第一方面对本专栏的所有技术的背景和算法原理进行介绍。我会亲自对本专栏内容进行讲解和答疑，会用最短的时间帮你快速梳理完本专栏内容，快速入门大模型技术。
• 第二方面为实战内容，会将本专栏的内容和国内知名大模型进行结合，以代码实操的形式完成大模型的架构编写、权值加载和模型推理，效果就是你可以和自己手写的大模型进行对话。

所以，模式三是一个基于本专栏衍生出来的实战课程，并且课程为 1对1 辅导模式，时长大致为 1.5 个月。

如果你是零基础、并且你不想浪费时间在折腾算法和代码调试上，那么本模式非常适合你。我会带你快速抓重点、快速搭建大模型技术入门的知识框架。

加入模式三后，你会拥有以下特权

• 享终身 VIP 沟通交流服务，享优先响应特权（限与AI相关的咨询），深度链接作者。
• 如相关内容仍有疑问，可以随时预约进行答疑（终身售后）。
• 享作者其他所有付费专栏（金额>100） 5 折购买权。
• 享作者其他所有付费内容（金额<=100）免费赠送权益。
• 如你希望参加模式 3 的学习，请不要在此订阅，我会赠送你本专栏所有文章的免费阅读权益。

关于模式二中的答疑和模式三的学习细节内容，如果你感兴趣，可以加我微信 **ddcsggcs **咨询了解。

祝你看完本专栏，可以快速完成 AI 视觉的知识破冰，快速完成知识积累。

2、订阅须知

专栏文章只有订阅后才可阅读。订阅完成后，所有内容可以终身阅读，无期限限制。

订阅前请你仔细阅读后面的目录，确认一下专栏内容是否适合你，如果合适的话再进行订阅。

• 如果你自己不确定是否合适，可以加我微信 ddcsggcs 沟通一下再做决定。
• 如果你很清楚的知道本专栏是在讲什么，那么就不要犹豫直接订阅吧，这绝对是你非常超值的一次订阅。

2.1、订阅赠送

订阅本专栏，会赠送以下订阅权益。

🚩 赠送一：赠送《AI大模型实验室》专栏，实验室的内容会手把手带你完成 AI 大模型的破冰和进阶练习。该专栏包含以下内容，会不定期更新，AI 大模型实验室的入口链接在这里。

🚩 赠送二：会赠送很多好玩、实用的大模型应用方法，相关内容会在本专栏进行更新，汇总部分在下面好玩实用的大模型章节。

🚩 **赠送三：**赠送 20 多份高质量的 AI、Python、c++ 学习的电子书和资料，订阅本专栏完成后，加我微信 **ddcsggcs **免费领取。

如果你对以上内容感兴趣，也对 AI 大模型非常感兴趣，你可以继续往下看本专栏的文章目录。

—

3、专栏更新事宜

1. 2024 年 05 月对本专栏开始更新，内容会围绕着大模型和 Transformer 架构进行。由于大模型的技术发展非常迅速，如国内外有最新的技术和大模型发布，本专栏也会及时更新。
2. 本专栏目前基本完成更新，共计10w多字，最长的一篇近5000字，详细拆解了大模型中的各种底层技术细节。
3. 专栏涉及的代码都会公开，暂定放在 Gitee 上托管，订阅专栏后可以看到 Gitee 链接。
4. 另外，如果你订阅了本专栏后，也可以学习一下另一个已完结的专栏《AI视觉入门与调优》，该专栏已更新完成，共100+篇文章，专栏定位为小白可以学习的AI知识，里面拆解了深度学习的基础概念和 AI 视觉常见的算法，有不少内容对学习本专栏有益。

4、专栏大纲

温馨提示：下面大纲中，存在链接跳转的文章为已更新文章。

4.1、好玩实用的大模型（订阅赠送中的<赠送二>的内容）

这里搜罗了在本专栏更新过程中发现的一些好玩、实用的大模型应用。

包括但不限于使用 AI 大模型完成文生图、文生视频、图生视频、智能体游戏等等，汇聚在这里，属于本专栏赠送二的内容。

1. AI 大模型初体验（网页版）

这里整理了国内外知名 AI 公司发布的 AI 大模型的使用链接，以及相关模型的介绍，都汇总在上面的链接中。目前包括：百度文心一言、腾讯混元、阿里通义千问、讯飞星火、清华智谱清言（chatGLM）、月之暗面 Kimi、OpenAI GPT系列、POE、Llama系列、快手可灵等。 2. AI 大模型初体验：使用 Python 调用 ChatGLM 3. AI 大模型初体验：在笔记本上，利用 CPU 上部署 LLaMa2 4. AI 大模型初体验：使用 Python 调用 LLaMa3 5. 有趣的 AI 应用：利用 AI 生成视频（网页版） 6. 有趣的 AI 应用：利用 AI 生成各种风格的漫画 7. 实用的 AI 应用：手把手带你使用 AI 完成网页内容的总结 8. 实用的 AI 应用：文生视频国产 Sora 平替 9. 实用的 AI 应用：体验 MidJourney 绘画

4.2、环境配置相关

1. 选配：安装 Ubuntu 系统 (非必须)
2. 快速访问 Hugging Face (必看)
3. 环境配置与代码仓库 (必看)

4.3、预处理阶段（基础）

该阶段完成输入句子（单词）到向量空间的表达，可以认为是大模型进行推理之前的，文本预处理阶段，这一阶段的流程如下图所示。

### 4.3.1、Token 相关

• 了解 token
• 利用 BERT 对文本进行 token 化
• 利用 GPT2 将文本 token 化
• 文本 token 化的过程是怎样的（算法介绍）
• GPT3.5/4 的 token 可视化工具

4.3.2、词嵌入(Word Embedding)相关

• Token 到数值的转换（词汇表）
• Token 到词嵌入向量的转换（Word Embedding）
• 向量如何表示近义词？(余弦相似度)
• 词向量的值：实际上是特征
• 词向量运算：Python 实现"Queen = King - Man + Wowem"
• Word2Vec 及相关工具的使用

4.4、Transformer 主干架构原理、背景和技术相关

• 什么是 Seq2Seq 模型？
• 什么是 Encoder-Decoder 模型？
• 基于 RNN 的 Encoder-Decoder 结构
• 以 LSTM 为例，通俗理解 RNN（循环神经网络）
• 基于 RNN 的 Encoder-Decoder 结构完成文本翻译的过程
• 初识注意力
• 当注意力遇上 Seq2Seq 模型
• 再看注意力（Query、Key、Value）
• 两个例子感受注意力的作用
• Transformer 论文通俗解读：摘要、引言、背景
• Transformer 论文通俗解读：编解码
• Transformer 论文通俗解读：注意力的运算
• Transformer 论文通俗解读：多头注意力
• Transformer 论文通俗解读：FFN 层
• FFN 中的非线性表达
• FFN 中的线性变换
• 线性层和矩阵乘法的区别和联系
• 模型输出线性层：从隐藏特征到样本特征的映射
• Softmax 是如何完成数值到概率转换的？
• MaskSoftmax 如何屏蔽未来信息？
• 残差结构在 Transformer 中的作用
• 为什么会有 LayerNorm 这类算法？
• 什么是 Pre-Norm 和 Post-Norm
• 位置编码：为什么需要位置编码？
• 位置编码：编码的是什么信息？
• 位置编码：需要具备什么特性？
• 位置编码：位置编码算法介绍
• 位置编码：基于正余弦函数的位置编码的公式理解
• 位置编码：一文搞懂旋转位置编码(RoPE)
• 大模型的推理过程：KVCache 的引入(Prefill 和 Decode)
• 如何实现 KVCache 优化

4.5、后处理相关

该部分对应的是 Transformer 推理完成后，对输出的原始得分进行后处理的内容，后处理的目的是为了让 AI 大模型输出的文本（Response）更加符合人类的需求，同时保持多样性。

• 后处理：为什么要对 Logits 进行惩罚
• 后处理：预测得分的 Top_k 采样
• 后处理：预测得分的 Top_p 采样
• 后处理：预测得分的温度参数和 Softmax 计算

4.6、一些模型结构介绍

• 模型：什么是 Decoder-Only 结构
• 模型：GPT 系列和 BERT 系列的结构
• 模型：Qwen2 的模型结构和细节

5、专栏合伙人计划

本专栏已开启合伙人计划。

订阅本专栏后，你可点击专栏中的“分享有礼”按钮，参加本专栏专属的合伙人计划，生成你的专属海报或链接，分享到朋友圈或发送给朋友。

别人从你的专属海报或链接订阅专栏后，你将直接获得订单50%的收益，收益发放至小报童钱包，直接可以提现。

欢迎分享给周围有需要的小伙伴，一起学习一起加油！