核心内容摘要
霓虹背后的秘密集结：与吕总、津瑜、冉冉学姐及唐伯虎共赴“心糖”美学盛宴
OpenAI近期发布的更新增强了原本ChatGPT的记忆功能新版本的GPT模型在回复用户问题的时候除了记住用户过往的聊天记录还能够跨聊天调取记忆从而生成更加准确性的回答。
在此之前我们使用ChatGPT等类似的AI聊天软件时对话与对话之间的信息是不共享的这就导致了一个问题我们每次在新开启一个对话的时候都要重复地告诉大模型一些“背景信息”。
相信大家在遇到这种情况的时候会很自然的思考一个问题能否让大模型“记住”我之前说的话这就是长期记忆所希望解决的问题。
今天我们就来聊一聊如何能让大模型“长记性”。
在介绍长期记忆之前我们先来介绍一个与其相似的内容——RAG。
什么是RAGRAG全称 Retrieval-Augmented Generation检索增强生成是 OpenAI、Meta 等公司提出的一种框架用来增强语言模型的知识能力。
它的提出是为了解决大模型”幻觉“问题。
简单来说大模型在训练时学到很多东西但它的知识是静态的也就是说训练之后模型就无法自动了解新的知识、动态变化的信息。
这样带来的问题就是在面对一般性场景的时候大模型具有不错的表现但是一旦被问到有关私有或专业数据源的信息大模型就会生成一些不准确的回复看起像是在”一本正经“地胡说八道这就是大模型幻觉。
所以针对不同专业领域的知识大模型需要针对性的调整和优化也就是监督微调Supervised Fine-Tuning), 但是监督微调是一个很耗成本的事情有没有什么办法可以降低这种定制化工程的成本呢这就轮到RAG登场了。
RAG的原理在于结合信息检索与自然语言生成以提高文本生成的质量和准确性。
利用检索技术来增强生成模型的新功能特别是在处理知识密集型任务时通过结合外部知识库和语料库中的信息RAG能够生成更加准确、详细和有用的信息。
所以RAG的出现就像是给模型外挂了一个”搜索引擎“模型不光是靠自己”硬想“而是先查资料再回答问题。
RAG 的核心流程
数据检索RAG利用检索模型在大量的语料库或数据库中搜索与输入查询相关的文本片段或信息。
信息增强与整合检索到的相关信息片段会经过进一步处理以便为后续的文本生成阶段提供有用的上下文或知识。
在某些情况下RAG还可能对检索到的信息进行过滤、排序或重新组织以确保其质量和输入查询的相关性。
生成回答模型结合检索到的信息和输入查询RAG使用自然语言生成模型来生成新的文本内容。
这样模型就能用上“外脑”信息不再闭门造车了。
为什么需要“长期记忆”介绍完了RAG我们再来看看长期记忆。
尽管RAG已经让大模型能实时查资料但它并不会“记住”你以前说过的话。
每次对话几乎都从零开始这就带来了一个问题“我们的对话不能建立起持续的上下文。
”而长期记忆系统的目标就是像人类一样建立起可随时访问和调用的“记忆库”。
举个例子你曾和一个智能助手聊过你喜欢旅游、爱吃辣、来自北方。
下次再见面时它还能主动问你“你上次提到喜欢大连的海边这次计划去哪儿玩”这就是长期记忆的作用 ——让AI真正了解你并不断积累对话上下文和偏好信息。
如何实现“长期记忆”讲完了概念我们来看看如何实现这一过程。
向量数据库 检索最常见也就是采用RAG的方式将你的历史对话和个性化信息保存下来。
具体流程就是将对话信息转换为向量存入像FAISS、Milvus等向量数据库中当模型需要”回忆“时就向数据库中检索相关信息并将结果加到模型输入的prompt中。
这种做法的好处是因其基于现有的RAG系统所以部署起来会相对简单且由于向量数据库的加持扩展性也会很强最大可支持百万级的记忆内容。
不过因为其没有对记忆进行分类的结构化存储所以其在检索阶段会出现准确度低的问题且在存储过程中可能无法理解”时间顺序“或”语境依赖“导致记忆中忽略这部分的信息。
Slot-based 记忆管理插槽式记忆向量数据库因为未采用结构化存储而导致其准确度低那么为了解决这一问题就需要对记忆进行结构化设计也就是将记忆拆分为多个”插槽“。
模型根据上下文选择要激活的插槽动态组合prompt从而生成更准确的回答。
比如大模型得到了一个user_input,内容为“小明是重庆人特别喜欢吃辣椒”。
那么其结构化存储就可以按照如下的方式进行存储●用户姓名小明●喜好爱吃辣●背景信息重庆人这样做的好处在于记忆的储存更加结构化方便了记忆存储与记忆召回。
对于一些业务流程比较明确固定的场景管理记忆的工作会更加方便。
但是在实现过程中需要开发人员手动设定插槽灵活性与兼容性很差。
并且在插槽数量过多的时候管理起来十分复杂。
多轮对话链 自动
总结
总结记忆既然插槽式记忆需要人工设计记忆结构那么能不能让大模型自己去完成这个工作呢
总结记忆为这一问题提出了解决方案让模型定期“写日记”通过
总结来压缩对话历史。
即在每次对话结束时就自动
总结一段记忆或者让模型定期地对过去的对话进行“反思”存储对话中”高度抽象“的信息而非其原始内容。
比如用户询问了一些关于旅游攻略的信息大模型将对话
总结为”用户计划去XX旅游关注美食以及交通信息“。
这样的存储方式节省了token成本让记忆更加紧凑且更加接近”人类回忆“。
但是因为其
总结的过程时交给模型及进行处理
总结不准确会导致模型”误记“并且
总结的记忆中缺乏细节会影响记忆召回的精确度。
混合式当前最主流的解决方案实际上很多先进的长期记忆系统会融合以上几种方式比如●用 向量数据库存原始记忆片段●用 slot 存储结构化长期信息如角色设定、兴趣偏好●用
总结机制压缩上下文提高效率OpenAI、Meta、Anthropic、Mistral 等公司在构建 Agent 系统时几乎都采用了这种“混合记忆架构”。
一些代表性的实践项目除了长期记忆实现方式的简介之外这里我们再介绍两种应用广泛的长期记忆系统mem0与memGPT。
mem0轻量、实用、以用为先的记忆系统mem0是由社区开发者构建的轻量级长期记忆框架非常适合实际部署在 AI 助手、智能体或应用中。
它的几个核心设计理念✅ 记忆是可搜索和可管理的通过自然语言索引向量化混合检索。
✅ 支持多记忆分层结构如“人物档案”、“事件记录”、“标签主题”等。
✅ 支持自动摘要与反思机制模型定期
总结近期对话形成更稳固的记忆基础。
✅ 支持“记忆触发器”机制当对话触发某关键词或语义线索时自动检索相关记忆。
mem0可以更方便地接入 LangChain、AutoGPT 等框架是很多构建“有记忆智能体”的团队首选方案。
MemGPT类人脑记忆的模拟器MemGPT 是斯坦福等高校研究者提出的一种类人记忆架构它引入了两个概念
Working Memory工作记忆用于当前对话和任务的即时信息类似人类短期记忆。
Long-Term Memory长期记忆存储历史重要信息随时可检索类似人类的回忆系统。
它最大的特点是记忆不是固定插入的而是由模型自主决定“写入”或“读取”。
●比如当用户说出一句重要信息MemGPT 会识别“这值得记住”并自动存入长期记忆。
●未来对话中如果触发相关线索模型会主动“回忆”相关内容并应用到回答中。
这种机制让 AI 更像一个“会反思、有偏好、有选择性记忆”的智能体。
总结一下RAG 长期记忆强强联手RAG检索增强生成和长期记忆虽然都是为了提升大模型的响应质量但两者的关注点不同RAG 侧重于从外部知识库中检索事实性内容比如文档、网页、数据库等而长期记忆更关注于用户本身的历史信息和对话上下文比如你过去说过的话、提到的偏好或行为习惯。
也就是说RAG 和记忆并不是非此即彼的互斥关系而是互补的工具。
RAG 解决的是广泛的知识检索问题而记忆的目标是让 AI 具备贴心的个性化互动能力。
比如●RAG 负责回答“现在的天气、公司政策、产品文档”这些通用问题。
●长期记忆则负责记住“你是谁、你之前说过什么、你喜欢什么”这些个性化信息。
真正聪明的智能体应该既能查资料也能记住你是谁。
应用场景让AI变得更“聪明”且“有人味”RAG长期记忆不只是技术层面的升级更是在重塑AI的角色定位——它不再是冷冰冰的工具而是一个可以陪伴、理解、成长的“数智个体”。
企业“超级员工”高效、稳定、永不离职的数字员工正在悄悄重塑组织运作方式。
RAG长期记忆可以赋能AI成为企业内部的“超级员工”●记得每一位客户的历史沟通和偏好避免重复沟通。
●了解公司流程、项目背景、内部知识做决策时更有上下文。
●支持多角色协作从HR到客服、从销售到产品统一接入统一记忆库实现多部门知识共享。
有了记忆的AI不再是“问什么答什么”而是能持续陪伴项目、学习成长的“虚拟同事”。
智能客服会思考的贴心助手不是简单答FAQ而是真正记得你上次的诉求。
传统客服的弊端之一就是“记忆断裂”——每次咨询都像第一次见面。
引入长期记忆后AI客服可以●记住用户历史问题和处理进度自动续接上次未完的对话。
●理解用户的习惯和情绪变化自动调整语气风格。
●结合RAG系统查阅最新政策实现高效、准确、个性化的回复。
它不止是个客服更像一个了解你需求、始终在线的私人助理。
学习助手懂你的AI私教不再千篇一律推荐而是因材施教、持续跟进。
长期记忆让AI具备了“教学思维”●记住你的知识结构、薄弱环节和学习节奏。
●结合网络上的教材资料以及错题记录、学习目标定制个性化学习路径。
●跟踪学习进度适时“复盘”知识点而不是反复机械刷题。
它比任何App都懂你也比任何老师更“及时”。
小结未来AI会不会像人一样“有记忆”答案是正在接近RAG赋予了大模型查找知识的能力让大模型有能力成为各个领域的”专业人才”而长期记忆的目标是让模型真正像人类一样有能力理解过去、现在和你自己。
未来的大模型智能体应该具备这些记忆能力●记得“你是谁”●记得“你说过什么”●记得“你做过什么”●更重要的是知道什么时候应该回忆起它们而这才是通往“通用智能”的关键一步。
如何学习AGI大模型作为一名热心肠的互联网老兵我决定把宝贵的AI知识分享给大家。
至于能学习到多少就看你的学习毅力和能力了 。
我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
因篇幅有限仅展示部分资料需要点击下方链接即可前往获取**
2025最新大模型学习路线一个明确的学习路线可以帮助新人了解从哪里开始按照什么顺序学习以及需要掌握哪些知识点。
大模型领域涉及的知识点非常广泛没有明确的学习路线可能会导致新人感到迷茫不知道应该专注于哪些内容。
我们把学习路线分成L1到L4四个阶段一步步带你从入门到进阶从理论到实战。
L1级别:AI大模型时代的华丽登场L1阶段我们会去了解大模型的基础知识以及大模型在各个行业的应用和分析学习理解大模型的核心原理
关键技术以及大模型应用场景通过理论原理结合多个项目实战从提示工程基础到提示工程进阶掌握Prompt提示工程。
L2级别AI大模型RAG应用开发工程L2阶段是我们的AI大模型RAG应用开发工程我们会去学习RAG检索增强生成包括Naive RAG、Advanced-RAG以及RAG性能评估还有GraphRAG在内的多个RAG热门项目的分析。
L3级别大模型Agent应用架构进阶实践L3阶段大模型Agent应用架构进阶实现我们会去学习LangChain、 LIamaIndex框架也会学习到AutoGPT、 MetaGPT等多Agent系统打造我们自己的Agent智能体同时还可以学习到包括Coze、Dify在内的可视化工具的使用。
L4级别大模型微调与私有化部署L4阶段大模型的微调和私有化部署我们会更加深入的探讨Transformer架构学习大模型的微调技术利用DeepSpeed、Lamam Factory等工具快速进行模型微调并通过Ollama、vLLM等推理部署框架实现模型的快速部署。
整个大模型学习路线L1主要是对大模型的理论基础、生态以及提示词他的一个学习掌握而L3 L4更多的是通过项目实战来掌握大模型的应用开发针对以上大模型的学习路线我们也整理了对应的学习视频教程和配套的学习资料。
大模型经典PDF书籍书籍和学习文档资料是学习大模型过程中必不可少的我们精选了一系列深入探讨大模型技术的书籍和学习文档它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。
书籍含电子版PDF
大模型视频教程对于很多自学或者没有基础的同学来说书籍这些纯文字类的学习教材会觉得比较晦涩难以理解因此我们提供了丰富的大模型视频教程以动态、形象的方式展示技术概念帮助你更快、更轻松地掌握核心知识。
大模型项目实战学以致用当你的理论知识积累到一定程度就需要通过项目实战在实际操作中检验和巩固你所学到的知识同时为你找工作和职业发展打下坚实的基础。
大模型面试题面试不仅是技术的较量更需要充分的准备。
在你已经掌握了大模型技术之后就需要开始准备面试我们将提供精心整理的大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。
因篇幅有限仅展示部分资料需要点击下方链接即可前往获取