核心内容摘要
探秘“日韩高潮”：文化浪潮下的情感共鸣与消费风潮
摘要本周深入研究了DeepSeek-OCR模型的演进重点分析了从V1到V2版本的核心架构变革。
V1模型采用传统ViT架构SAMConvCLIP按固定空间顺序输出视觉特征在复杂文档解析中存在语义顺序被打乱的问题。
V2模型创新性地将编码器后半部分的CLIP替换为小型LLMQwen2-
5B引入“视觉因果流”机制通过可学习的“因果流查询Tokens”动态决定信息提取顺序实现了从“物理坐标顺序”到“语义逻辑顺序”的根本转变使模型能像人类一样理解复杂文档的排版结构。
AbstractThis week focused on the evolution of the DeepSeek-OCR model, with in-depth analysis of the core architectural transformation from V1 to V
The V1 model employed a traditional ViT architecture (SAMConvCLIP) that outputs visual features in fixed spatial order, leading to disrupted semantic sequencing when parsing complex documents. The V2 model innovatively replaced the CLIP component in the latter half of the encoder with a small LLM (Qwen2-
5B), introducing a “visual causal flow” mechanism. Through learnable “causal flow query tokens,” it dynamically determines information extraction order, achieving a fundamental shift from “physical coordinate order” to “semantic logical order,” enabling the model to understand complex document layouts similarly to humans.
DeepSeek-OCR-2 模型之前学习了DeepSeekOCR模型一个重要的启发是它验证了图片是文本的高效压缩格式用几百个 token 就能压进上千字的文本。
1 V1的问题从 DeepSeek-OCR V1 到 V2最关键的叙事转变是从 物理压缩Compression 转向了 逻辑感知Reasoning/Flow。
而这个转变最主要的动机在于V1 的编码器沿用了传统的 ViT 那套架构具体来说是 SAM Conv CLIP 的组合。
这个架构看上去分工明确很合理它有什么问题呢主要在于传统的做法CLIP 这步输出通常是对应空间位置的特征序列Patch Tokens也就是说当把这些特征喂给 LLM 时通常是按照固定的空间顺序光栅扫描 拉直的通俗地说就是从左上角一行一行死板地扫到右下角。
但是对于排版复杂一点的文档比如表格、多栏文本这种「从左上角到右下角」的物理顺序往往打乱了原本的语义顺序。
这让后面的 LLM 解码器理解起来非常费劲。
我们人类是怎么看这种复杂排版的文章的呢举个例子一篇双栏的学术论文你会先看大标题然后看左栏的第一段读完左栏再跳到右栏。
你的视线是跳跃的但这种跳跃是符合语义逻辑的。
所以V2 的作者提出能不能让视觉编码器像人眼一样不按死板的坐标顺序而是按照内容的逻辑顺序来输出视觉特征他们把这种能力称为 视觉因果流Visual Causal Flow。
2 改动把 Encoder 换成 LLM上面是 V2 的架构图和 V1 相同的部分在于依然保留了 SAM Conv 做前端感知也就是编码器的前半部分解码器部分仍然是一个 LLMDeepSeek-3B主要的变动在于编码器的后端部分把之前的 CLIP 换成了一个小巧的 LLMQwen2-
5B。
也就是说作者把这个编码器设计成了一个混合体处理两种 Token视觉 Tokens 代表图片原本的信息。
因果流查询 Tokens 这是一组可学习的参数它们负责「提取」并「排序」视觉信息。
3 为什么要用 LLM 做视觉编码器呢这个设计相当于引入了两个级联的因果推理机制第一级Encoder 内部 负责「排版推理」。
它不生成文字只负责把视觉信息按阅读逻辑排好队。
每一个 Query 在生成时不仅看着原图Visual Tokens还看着前面的 Query。
这迫使模型学习「根据上文逻辑下一眼该看图片的哪里」。
第二级Decoder LLM 负责「内容推理」。
把排好队的特征翻译成文字。
这种设计让解码器 LLM依然是那个 DeepSeek3B-MoE的工作轻松了太多。
这就像模型在输出视觉 token 之前已经在内部做了一次 「隐式的思维链」把乱序的空间像素梳理成了有序的语义流。
以前的模型是「空间坐标」决定顺序DeepSeek-OCR 2 是「语义逻辑」决定顺序。