本文深入浅出地介绍了Transformer模型的核心工作原理从输入层的词向量转换、位置编码到自注意力机制再到多头注意力、残差连接和前馈网络最后解释了Decoder如何像人一样逐词生成输出。通过阅读本文即使是编程小白也能初步理解大语言模型如ChatGPT的工作方式为深入学习AI领域打下坚实基础。如果你想对当下 AI LLM(大语言模型) 的工作原理有所了解揭开 ChatGPT、DeepSeek 背后的秘密那一定要了解 Transformer。首先来看一下 Transformer 整体架构图图的左边一侧Input输入整体代表Encoder右边一侧Output输出整体代表Decoder。01Input输入的技术原理整个输入流程你只需要先记住下面的关键流程词 → 向量 → 加位置 → Q/K/V → 注意力 → FFN → 输出然后我们逐步解释。① Input Embedding把词转成向量其实模型不认识“我”、“你”、“猫”这些词它只认识数字。所以需要把每个词转换成一个向量向量对就是我们高中数学学的那个向量一个有方向的矢量用一组数字表示例如我 → [0.12, -0.88, 0.43, …]这里简化了精度方便阅读向量化这一步非常基础但也是理解后面一切的起点。② Positional Encoding给模型加位置卷积神经网络 RNN 是按顺序逐词处理随着距离渐远后边的词与前边的词的语义关联也就越远了上下文一长模型就降智胡说了。但是Transformer在这方面做了改进它不需要按词的顺序处理因此模型本身无法“天然”感知词的先后关系。所以需要额外告诉模型“这是第 1 个词这是第 2 个词……”论文使用了 sin cos 函数计算的位置编码方式让每个词清楚自己的“位置”。sin/cos 位置编码乍一看有点数学味没错就是我们中学的三角函数现在有了用武之地它对模型来说是非常简单高效的。这些函数给每个词加上一个位置坐标让 Transformer 能分辨词的“位置”同时又不需要多余的训练成本。③ Q / K / VSelf-Attention自注意力 的灵魂这是Transformer最天才的设计之一。prompt 中的每个 token 都会生成 3 个向量QQuery我想找什么KKey我是谁我有什么特征VValue我的实际含义是什么它们不是概念而是实实在在的矩阵乘法结果。接下来句子里的每个词都会 拿着自己的 Q 到其他词的 K 那里去 “打分”问“你跟我有多相关” 打分越高相关性就越高。比如句子 猫咪爱吃鱼拆成 token猫咪 爱 吃 鱼先看「吃」这个词 它拿出自己的 Q我想找【被吃的东西】分别去和「猫咪」「爱」「吃」「鱼」的 K 挨个比对打分和「猫咪」的 K分数中等吃的主体是猫咪但不是被吃对象和「爱」的 K分数很低几乎不相关和自己「吃」的 K分数偏高和「鱼」的 K分数最高高度匹配得到一组分数后会经过 softmax 归一化变成总和为 1 的权重。 再拿着这一组权重对四个词对应的 V真实语义向量做加权求和 「鱼」的权重最大所以融合出来的新向量就带上了【吃的对象是鱼】这个信息。再看「猫咪」这个词 它的 Q 是【我想找我做的动作】去和所有 K 打分 和「吃」的 K 分数很高代表猫咪和 “吃” 这个动作强关联和「鱼」分数次之和「爱」分数低。 加权 V 之后「猫咪」的新含义就不再只是单纯的猫而是带上了这只猫在执行吃鱼这个动作。「爱」的 Q 会去找它修饰的内容和「吃」的 K 打分更高 「鱼」的 Q 会去找和自己发生关系的主体动作和「吃」的 K 打分最高。每个 token 都独立完成一遍这套 “Q 找 K 打分 → 算权重 → 加权 V 融合语义” 的流程。 原本孤立的词语通过注意力把互相之间的关联揉进新向量里让每个词都看懂整句话的关系。这就是单一的 Self-Attention。02 Multi-Head Attention多头注意力有了单一的 Self-Attention为啥又需要 Multi-Head Attention 呢因为我们需要从多个角度来理解自然语言。注意力头的数量是一个超参每个注意力头可以关注不同的视角例如有些头专注于主谓关系有些头捕捉代词指代有些头看句子情感有些头看名词短语边界有些头看长距离依赖有些头捕捉句法树结构…Transformer 不是只看一个角度实际可以开12 个、48 个甚至更多的注意力头从更多视角扫描句子。下图是Transformer 给出的一个简单示例描述了针对同一段文字两个不同的注意力头所展现出的各自关系可以看到确实存在明显区别这就是 Multi-Head Attention 的直观体现。03残差连接 LayerNorm让训练更稳定Self-Attention 只是“加工”了一遍词向量但我们肯定还不能丢掉原始信息。于是原始输入 注意力结果 → 做 LayerNorm 归一化对应架构图中 Add Norm这个残差结构让训练稳定得多也能堆更多层。04Feed Forward 网络FFN进一步加工语义Attention层负责广撒网把相关信息搜集到一起FFN则负责深加工对这个信息进行更复杂、更深度的非线性变换。简单说就是Attention 负责找关系FFN 负责提升表达力。Transformer 原论文描述FFN如下这段描述其实就是讲述了一个非常朴素的两层全连接网络Linear → ReLU → LinearFFN 的结果是让每个 token 得到更丰富、更抽象的特征表达这样模型才能表达更复杂的模式而不仅仅是做简单的线性组合。05重复 N 次论文是 6 层可以加更多Transformer 原图里 Encoder 标了 N×原始论文只叠了 6 层。 这个 N 不是固定死的属于超参数我们可以自己调。 后面出来的 BERT、GPT、Llama 这些大模型直接堆到几十层、上百层。简单规律叠的层数越多模型规模越大看懂文字、理解语义的能力就越强。 这也是大家堆大量显卡训练大模型靠 “堆算力” 提升效果的底层原因。06Decoder 如何像人一样“输出”内容Decoder是模型的“写作器”其工作严格遵循架构图右侧流程核心是 “从左到右逐词生成”。为了理解这个过程我们以翻译任务为例输入 “I Love You”输出 “我爱你”。① Output Embedding先把输出词变向量理解方式和输入一样每个词被映射成一个向量用于后续计算。② Shifted Right防止模型“偷看答案”在模型训练阶段需要把标准答案整体右移一位并在开头加上起始符相当于给模型做一个填空题| | | --- | | 题目: start 我 爱 |此时模型看到的是| | | --- | | start 我 爱 |也就是右移一格。③ Masked Multi-Head Attention遮住未来可能你会觉得上面向右移一位好像没啥意义呀模型还是可以看到答案的一部分直接抄就可以起不到训练效果。此时就需要Multi-Head Attention多头注意力的功能来遮住未预测的词防止模型从未来抄答案。也就是说它和上面的Shifted Right协同工作共同确保模型无法“偷看答案”开卷考试体现不出水平还是得闭卷考试才行。比如模型要开始做这张填空卷了它需要依次填出三个空| | | --- | | 第一个空题目是 start______ | | | | 第二个空题目是 start 我 ______ | | | | 第三个空题目是 start 我 爱 ______ | | |④ Multi-Head Attention- “请教Encoder”Decoder 在生成新词时需要参考 Encoder 的输出这层 Attention 是桥梁连接输入和输出让 Decoder 可以“咨询Encoder”“你生成的词和输入序列的哪些部分相关”例如翻译 “I Love You”生成 “我” 时可能主要关注输入的 “I”生成 “爱” 时可能主要关注输入的 “Love”生成 “你” 时可能主要关注输入的 “You”⑤ Linear Softmax得到下一个词的概率比如已经生成了“我爱”后面这个字是啥会有类似这样的一组概率你71%他16%它11%其它2%概率值最高的就是下一个要生成的词。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】为什么要学习大模型我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年人才缺口已超百万凸显培养不足。随着AI技术飞速发展预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。大模型入门到实战全套学习大礼包1、大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通2、大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。3、AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。4、大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。5、大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。适用人群第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】