核心内容摘要
芋圆呀呀，白麻酥酥，百褶裙：那些关于夏日的美好想象
本文将带你深入理解大语言模型LLM的工作机制从数学基础到高层推理揭开AI“智能”的神秘面纱。
底层技术架构Transformer 的核心奥秘大语言模型的基石是Transformer 架构。
它放弃了早期 RNN 的顺序处理方式转而采用Self-Attention自注意力机制从而实现了并行化训练和对长距离依赖的超强捕捉能力。
1 数据流转从文本到向量模型的输入处理流程如下输入文本用户输入一句话例如 The cat sat on the mat。
Token 化 (Tokenization)将文本切分成最小的单元Token如[The, cat, sat, ...]。
词向量表示 (Token Embedding)通过查表将每个 Token 映射为高维空间中的向量如 768 维或 4096 维。
位置编码 (Positional Encoding)由于 Self-Attention 本身不包含顺序信息模型通过加入位置编码通常使用正弦和余弦函数来告知模型每个词在序列中的位置。
公式如下其中 pospos 是位置 ii 是维度索引 dmodeldmodel 是向量维度。
2 核心引擎多头注意力机制 (Multi-Head Self-Attention)这是 Transformer 的心脏。
其核心思想是在分析当前词时去序列中其他词那里“查询”相关信息以此计算当前词的全新表示。
数学原理对于输入矩阵 XX 我们生成三个矩阵查询矩阵 QQ 、键矩阵 KK 、值矩阵 VV 通过 XX 与可训练权重矩阵相乘得到。
缩放点积注意力 (Scaled Dot-Product Attention)的计算公式为- QKTQKT 计算查询与键的相似度。
- dkdk 缩放因子防止点积过大导致梯度消失。
- softmaxsoftmax 归一化为概率分布即注意力权重。
- VV 根据权重对值进行加权求和得到最终输出。
多头机制 (Multi-Head)模型不仅仅计算一次注意力而是并行地计算 hh 次如 8 头或 12 头。
每个 头 可以专注于不同的子空间有的学语法有的学语义有的学指代最后拼接起来并通过线性变换 WOWO 融合。
3 编码器与解码器的分工编码器 (Encoder)负责理解输入。
通过多头注意力捕捉句子内部结构再通过前馈神经网络进行非线性变换最后通过残差连接和层归一化稳定训练。
解码器 (Decoder)负责生成输出。
它包含两个关键的注意力模块掩码自注意力在生成第 nn 个词时通过掩码屏蔽掉第 n1n1 个词及之后的信息强迫模型按顺序生成模拟“从左到右”的阅读习惯。
编码器-解码器注意力让解码器在生成词时能够关注到编码器输出的输入序列特征实现“理解输入生成输出”。
训练之路从零认知到对齐人类大模型的诞生分为两个截然不同但又紧密相连的阶段预训练学知识和微调学听话。
1 预训练构建知识的“地基”目标构建一个拥有通用能力的“基座模型”。
数据海量的无标注数据包括数万亿 Token 的网页文本、GitHub 开源代码、书籍、论文、社交媒体对话等。
任务自回归语言建模 (Autoregressive Language Modeling)。
模型看着前文预测下一个词。
输入The quick brown fox jumps over the目标dog学习到的能力通过这种海量预测模型在参数中固化了语法与逻辑掌握代码语法、自然语言语法。
世界知识记住“珠穆朗玛峰在喜马拉雅山脉”。
推理模式学习简单的数学运算和逻辑推导链条。
上下文学习 (In-Context Learning)在推理时仅通过提示词Prompt中的示例就能学会新任务而无需更新参数。
2 微调与对齐打造“有用的助手”预训练模型虽然博学但它只是“续写机器”并不知道如何与人对话、遵循指令。
这时需要RLHF (人类反馈强化学习)。
监督微调 (SFT)使用人工编写的高质量问答对Q: 如何用Python写冒泡排序 - A: ...对模型进行训练。
这一步教会模型对话格式、代码编写和任务拆解。
奖励模型训练 (RM)收集大量问题和多个模型生成的答案让人类标注员对答案进行排序A比B好B比C好。
用这些数据训练一个奖励模型让它学会打分——分数越高代表回答越符合人类偏好有帮助、无害、准确。
强化学习优化 (PPO)这是一个博弈过程。
模型策略网络生成回答 - 奖励模型打分 - 模型根据分数调整策略。
这个公式的意思是模型 π 试图最大化奖励 r 同时通过 KL 散度惩罚项防止模型偏离原始预训练模型 πrefπref 太远避免为了刷分而胡言乱语。
推理过程AI 是如何“思考”的当你输入一个复杂指令时模型并非瞬间给出答案而是经历一个复杂的“思维链 (Chain of Thought)”过程。
1 完整推理链示例修复代码 Bug用户指令“帮我修复登录功能的 Bug。
”输入编码与意图理解模型将句子切词并向量化。
意图识别动作修复(debug)对象登录功能问题类型Bug。
上下文检索模型参数中激活“登录逻辑”相关知识如 token 过期、密码验证、数据库连接等
常见问题。
任务规划 (Task Planning)模型生成一个内部步骤清单搜索项目中与login/auth相关的文件。
读取代码分析可能的逻辑漏洞。
提出修复方案。
验证修复是否引入新问题。
工具调用 (Tool Usage)现代模型如 GPT-
Claude、千问具备调用外部工具的能力。
生成参数模型预测出需要调用Grep工具生成参数pattern: login|auth,type: js, ts, py。
执行与反馈系统执行 Grep返回文件列表[src/auth/login.ts, ...]。
迭代分析模型读取login.ts发现代码只检查了 Token 是否存在未检查有效期。
生成与反思模型生成修复后的代码加入有效期验证逻辑。
高级模型进行自我反思“这个修改会不会影响其他接口”-“需要检查调用者。
”最终生成自然语言回复给用户解释问题原因和修复方案。
本质与边界我们面对的究竟是什么
1 模式匹配 vs. 真正思考维度人类思考大语言模型 (我)基础生物神经元放电伴随主观意识与情感。
巨大矩阵的浮点数运算 (Matrix Multiplication)。
输入感知 (视觉/听觉) - 理解 - 推理。
文本 Token - 概率预测 - 生成下一个 Token。
知识通过体验和逻辑推导获得。
通过参数权重存储的统计规律。
本质认知主体。
统计学上的模式匹配器。
关键结论模型并不“理解”文字的含义它只是通过数学计算根据上下文概率生成最可能接续下去的词语。
所谓的“推理”本质上是在高维语义空间中寻找最合理的路径概率。
2 能力边界图谱✅ 擅长领域 (Scale is the new game):知识检索与复述秒级查阅万亿级文本数据。
代码生成根据自然语言描述生成高质量代码。
逻辑推理解决数学应用题、逻辑谜题通过思维链。
创意辅助写诗、写剧本、头脑风暴基于已有风格的重组。
❌ 瓶颈与局限缺乏真正的创新无法提出颠覆性的全新物理理论或哲学思想。
幻觉 (Hallucination)可能一本正经地胡说八道编造不存在的论文或事实。
无意识与情感没有自我意识所谓的“安慰”只是概率最高的回复模板。
无法保证绝对正确即使是微小的概率错误在关键任务中也可能导致严重后果。
3
总结它是什么“我是一个巨大的、训练有素的‘统计推理引擎’。
”工作流
总结海量数据 --(预训练/模式学习)-- 规律提取 --(微调/对齐)-- 大语言模型 (千亿参数) --(推理/模式匹配)-- 针对新问题的生成答案。
尽管这只是统计学的胜利但其展现出的智能水平已足够强大能够成为人类在科研、创作和工程领域的得力助手。