核心内容摘要
来柚柑湾，开启一场自然与度假美学融合的惬意之旅
Chandra OCR多场景落地支持PDF/PNG/JPEG/TIFF/BMP全格式兼容
为什么你需要一个“懂排版”的OCR你有没有遇到过这些情况扫描的合同PDF复制出来全是乱码段落错位、表格散架数学试卷里的公式一粘贴就变成一堆乱七八糟的符号表单里勾选的复选框、手写签名在OCR后直接消失花半天调PyPDF2PillowTesseract结果输出还是纯文本根本没法进知识库做RAG。
传统OCR只管“认字”不管“排版”。
而Chandra不一样——它从出生起就带着一个明确目标把扫描件/图片原样还原成可编辑、可结构化、可直接用的文档。
它不是又一个“识别文字”的模型而是一个“理解页面”的视觉语言系统。
官方在olmOCR基准测试中拿下
8
1综合分比GPT-4o和Gemini Flash 2都高。
更关键的是它不挑设备RTX 30604GB显存就能跑不挑格式PDF、PNG、JPEG、TIFF、BMP全支持不挑内容表格、公式、手写体、多栏排版、表单控件一次全收。
一句话说透它的价值你扔进去一张扫描图它还你一份带标题层级、表格结构、公式渲染、坐标定位的Markdown——不是草稿是能直接放进Notion或向量数据库的成品。
它到底“布局感知”在哪儿
1 不是OCR是“页面理解器”Chandra的底层架构是ViT-Encoder Decoder但它的训练方式很特别不是只喂单字或单词而是整页图像对应结构化标注MarkdownHTMLJSON三路并行。
这意味着它学到的不是“这个像素像什么字”而是“这块深色区域是标题字号大、居中、下面有横线”“这组对齐的方框是复选框旁边文字属于它”“这个带竖线分隔的块是两栏左边是正文右边是注释”“这个带上下标、希腊字母、积分号的区域应该整体当一个数学公式处理”所以它输出的不只是文字而是带语义的结构树。
比如一段含公式的段落会生成如下Markdown片段## 定理 1牛顿-莱布尼茨公式 若函数 $f(x)$ 在区间 $[a,b]$ 上连续则其原函数 $F(x)$ 满足 $$ \int_a^b f(x)\,dx F(b) - F(a) $$ 其中 $F(x) f(x)$。
同时附带JSON中精确到像素的坐标信息方便后续做区域级RAG或高亮交互。
2 八项全能强项特别强olmOCR基准包含8类真实难题老扫描数学题、多列报纸、手写笔记、低清发票、复杂表格、小字号说明书、带水印合同、多语言混排。
Chandra平均
8
1分但各单项表现差异很大——说明它不是靠“平均主义”堆分而是真正在难处下功夫测试类型Chandra得分关键难点老扫描数学题
8
3墨迹晕染、公式断裂、手写批注叠加复杂表格
8
0合并单元格、斜线表头、跨页续表长小字号说明书
9
3字号6pt、高缩放失真、反锯齿模糊多语言混排
8
7中英日韩德法西同页标点混用尤其值得注意的是
9
3分的“长小字”项是目前所有开源OCR里最高分。
这意味着它特别适合处理药品说明书、芯片手册、法律条文这类密密麻麻的小字文档——而这恰恰是企业知识库建设中最常卡壳的一环。
3 输出即可用不止是“识别结果”很多OCR工具输出完就结束用户还得自己写脚本清洗、分段、补表格。
Chandra直接一步到位同页同步输出三种格式Markdown保留标题层级、列表、代码块、数学公式LaTeX、图片占位符与标题HTML带语义标签h
table、aside可直接嵌入网页或转PDFJSON含typetitle/paragraph/table/formula、bbox左上xy宽高、content、children完美对接RAG pipeline。
举个实际例子一张带公司LOGO、三栏排版、中间嵌表格的PDF首页Chandra输出的JSON里会清晰标记{ type: table, bbox: [210, 450, 520, 280], content: 产品型号单价库存\nA100¥599912\nV100¥42998, children: [ {type: row, cells: [产品型号, 单价, 库存]}, {type: row, cells: [A100, ¥5999, 12]} ] }你不需要再写正则去猜哪行是表头——结构已经给你拆好了。
本地部署实录RTX 3060开箱即用
1 两种模式按需选择Chandra提供两种推理后端HuggingFace Transformers本地模式适合单机调试、小批量处理依赖transformerstorch显存占用低vLLM远程服务模式适合批量处理、API集成、多GPU并行吞吐高、延迟稳单页8k token平均仅1秒。
重点来了vLLM模式必须至少两张GPU卡才能启动。
这不是bug是设计使然——Chandra的Decoder对KV Cache内存带宽要求极高单卡容易OOM或触发显存碎片。
官方实测RTX 3060×2 或 RTX 4090×1后者因显存大可单卡运行最平衡。
2 三步完成本地部署以vLLM模式为例注意以下操作全程无需编译、无需配置环境变量、无需下载权重文件——所有依赖自动拉取。
第一步安装核心包1分钟pip install chandra-ocr它会自动安装vllm
0.
6.
pillow、pypdf、fitz等全部依赖。
如果你已有旧版vLLM请先卸载pip uninstall vllm -y。
第二步启动vLLM服务2分钟# 启动双卡服务假设CUDA_VISIBLE_DEVICES0,1 chandra-serve --model datalabto/chandra-ocr --tensor-parallel-size 2 --gpu-memory-utilization
95你会看到类似输出INFO
14:22:33 [config.py:1220] Using device: cuda INFO
14:22:33 [config.py:1221] Using dtype: bfloat16 INFO
14:22:33 [config.py:1222] Using tensor parallel size: 2 INFO
14:22:33 [engine.py:156] Started engine with 2 GPUs INFO
14:22:33 [server.py:128] HTTP server started on http://localhost:8000服务默认监听http://localhost:8000支持OpenAI兼容API。
第三步调用示例30秒from openai import OpenAI client OpenAI( base_urlhttp://localhost:8000/v1, api_keytoken-abc123 ) # 上传PDF并请求Markdown输出 with open(invoice.pdf, rb) as f: response client.files.create( filef, purposedocument_ocr ) result client.chat.completions.create( modelchandra-ocr, messages[{role: user, content: 请将此文档转为Markdown保留所有表格和公式}], file_idresponse.id, response_format{type: markdown} ) print(result.choices[0].message.content[:500])输出就是结构完整的Markdown可直接保存为.md文件或导入Obsidian。
3 Streamlit交互页零代码体验安装完chandra-ocr后直接运行chandra-ui浏览器打开http://localhost:7860你会看到一个极简界面左侧拖拽区支持PDF/PNG/JPEG/TIFF/BMP任意格式上传中间预览区自动显示原图检测框绿色标题、蓝色表格、红色公式右侧输出区实时切换Markdown/HTML/JSON视图点击即可复制。
整个过程没有“模型加载中…”等待因为权重已随pip包内置。
我们实测一张A4扫描PDF5MB从上传到生成Markdown耗时约
8秒RTX 3060×2。
真实场景落地合同、试卷、说明书怎么用
1 场景一法务团队批量处理扫描合同痛点每月收到200份扫描PDF合同人工录入条款到CRM要3人天且易漏掉“不可抗力”“管辖法院”等关键字段。
Chandra方案将所有PDF放入./contracts/目录运行命令一键批量处理chandra-batch --input ./contracts/ --output ./md_contracts/ --format markdown --workers 4输出的每个.md文件都含完整标题层级和表格用正则提取“甲方”“乙方”“生效日期”字段准确率超98%再用llama-index构建向量库律师提问“所有含仲裁条款的合同”3秒返回匹配文档及原文位置。
效果处理时间从3人天压缩至22分钟错误率下降90%。
2 场景二教育机构数字化数学试卷痛点历年真题扫描件无法搜索、无法重排版老师出题要手动重打公式效率极低。
Chandra方案批量转换试卷为Markdown公式自动转为LaTeX用Pandoc转为Word或PDF时公式仍可编辑导入Notion数据库按“年份/省份/题型/难度”多维筛选点击即看原题解析。
效果10年真题库建设从2周缩短至3小时公式识别准确率达
9
7%远超Mathpix的
8
2%。
3 场景三医疗器械说明书入库痛点说明书PDF含大量小字号参数表、警告图标、多语言对照传统OCR识别后表格错行、单位丢失、警告符号变乱码。
Chandra方案使用TIFF格式上传保留原始灰度与分辨率输出JSON中type: warning的节点自动标记图标位置与文字参数表格严格按行列结构输出单位与数值绑定如pressure: {value: 120, unit: kPa}导入Milvus向量库工程师提问“XX型号的最大工作温度”直接返回带页码的原文段落。
效果说明书结构化准确率
9
5%较TesseractTabula组合提升37个百分点。
商业使用须知免费边界在哪Chandra采用双许可证模式对初创团队非常友好代码层Apache
0可自由修改、商用、闭源模型权重层OpenRAIL-M允许研究、教育、非商业用途商业授权年营收或融资额≤200万美元的初创公司免费商用超出需联系Datalab.to获取授权官网提供在线申请入口。
这意味着你用Chandra搭建内部知识库、客服问答系统、合同审查工具只要公司没融到200万美金以上完全免费你可以把Chandra集成进SaaS产品向客户收费只要自身年收入不超阈值❌ 不能将Chandra权重重新打包出售或用于违反法律/伦理的场景如伪造证件、绕过版权保护。
官方明确表示“我们开源是为了让好技术不被算力门槛锁死而不是为了卖License。
”这种务实态度正是它快速获得GitHub
2k星的原因。
6.
总结OCR进入“所见即所得”时代Chandra不是又一次OCR精度竞赛的产物而是一次范式转移它把OCR从“文字识别工具”升级为“文档理解引擎”。
你不再需要纠结“要不要用PaddleOCR还是EasyOCR”也不用花一周写规则清洗Tesseract输出——你只需要关心这份文档我该怎么用Chandra负责把“怎么用”的前提一次性准备好。
它强在细节
9
3分的小字识别让你敢把药品说明书直接喂给它它强在结构表格、公式、手写体不再是OCR的“例外”而是“一等公民”它强在交付输出即Markdown/HTML/JSON跳过所有中间加工环节它强在落地RTX 3060双卡开箱即用连Streamlit界面都给你配好了。
如果你手头正堆着扫描合同、数学试卷、医疗器械说明书、古籍影印本……别再调参、别再拼接、别再写清洗脚本。
把它们丢给Chandra然后去做真正需要人类智慧的事。