多模态大模型做图像文字识别(OCR),本质上是**让LLM直接"看懂"图片里的文字**,而不是走传统OCR那条"先检测文字区域 → 再逐个识别 → 最后排版"的流水线。 核心机制可以拆成三步: **1. 视觉编码(Vision Encoder)** 图像被切成小方块(patches),经过ViT(Vision Transformer)转成一串"视觉token"。这些token携带了图像的语义信息——包括文字的形状、位置、上下文。 **2. 对齐投影(Projection Layer)** 视觉token的维度和大语言模型的文本token维度不同,需要一个投影层(也叫Adapter或Connector)把视觉特征映射到LLM能理解的语义空间里。这样图片信息和文字信息就在同一个向量空间了。 **3. 统一解码(Unified LLM)** 视觉token和文本prompt(比如"图中写了什么")拼接成一条序列,送进LLM做自回归生成。模型学到的不是"这个字长什么样",而是**"这个视觉patch对应的文本token应该是什么"**。 --- **和传统OCR的关键区别:** - **端到端**:没有独立的文字检测模块,模型自己决定看哪里、读什么 - **上下文理解**:能结合场景理解文字。比如看到路牌上的"STOP",不只是识别字母,还知道这是交通标志 - **分辨率处理**:为了看清小字,通常会做高分辨率切分(把大图拆成几块分别编码)或动态分辨率缩放 **训练层面:** 靠的是海量图文对(image-text pairs)的预训练,让模型建立视觉特征和文字token之间的统计关联。后期再用专门的OCR数据微调,提升对密集文字、表格、手写体的识别率。 所以Kimi这类模型不是"长了眼睛的OCR引擎",而是**把OCR变成了语言模型的token预测问题**。 - **中文 + 工业级**:PaddleOCR-VL(精度最高,功能最全) - **长文档 + 高效率**:DeepSeek-OCR(压缩比高,显存友好) - **轻量 + 边缘部署**:GLM-OCR(0.9B,低显存) - **办公表格 + 稳定**:HunyuanOCR(腾讯背书,版式还原好) - **快速验证 + 多语种**:EasyOCR(开箱即用,80 + 语言) - # PaddleOCR https://github.com/PaddlePaddle/PaddleOCR # GLM-OCR 是一款面向复杂文档理解的多模态 OCR 模型 https://github.com/zai-org/GLM-OCR/blob/main/README_zh.md # EasyOCR https://github.com/JaidedAI/EasyOCR # Deepseek OCR https://github.com/deepseek-ai/DeepSeek-OCR https://github.com/rdumasia303/deepseek_ocr_app # 尿检试纸识别 ![](file:///C:/Users/hukou/Documents/Tencent%20Files/2927951/nt_qq/nt_data/Pic/2026-05/Thumb/f913a3c0e3511f2e672f32b29f0bce87_0.png) 我再来问一个多模态的问题。我先描述一下这个图片,**这是一个14项尿常规尿检试纸,试纸两端是两个红色定位块,从红色定位块的边缘算起,计算两点之间的距离,进行距离14等分,读取每个等分的中心点的RGB颜色值,就得到尿检试纸的颜色值。** 如果我给你一个这个图片,结合我的上述介绍,你怎么完成这个任务?技术原理是什么? --- 这是个非常好的问题,而且刚好踩到了当前多模态大模型的**能力边界**上。 先说结论:**纯多模态大模型(如Kimi、GPT-4V)只能完成这个任务的"前半段",精确的像素级RGB读取必须交给代码来做。** --- **大模型能做什么** 拿到这张图,模型通过ViT视觉编码器能: - 识别出"这是一条尿检试纸,两端有红色参考块" - 数出"中间大约有14个色块区域" - 描述各区域的大致颜色("左数第2个偏蓝绿色"、"第5个是橙黄色") - 理解你描述的"14等分"规则 **大模型做不到什么(核心局限)** 你要求的**精确像素坐标定位 + 精确RGB数值提取**,端到端大模型做不了。原因在底层架构: 1. **分辨率损失**:图像被切成patches(比如14×14像素为一个视觉token),模型看到的不是原始像素矩阵,而是patch聚合后的统计特征。一个token可能覆盖了几十个像素,它无法精确定位"红色定位块的边缘到底在第几列"。 2. **没有数值读取能力**:LLM生成的是文本token,RGB值(比如`#4A90D9`)是它根据视觉特征"猜"出来的,不是从像素里"读"出来的。误差可能很大,尤其是相近颜色。 3. **空间定位模糊**:模型能知道"红色块在左边",但给不出精确的像素坐标`(x1, y1, x2, y2)`,也就无法做严格的几何14等分。 --- **真正的技术方案:大模型理解 + 代码执行** 工程上这类任务的标准做法是**视觉理解 → 代码生成 → 程序执行**: 1. **大模型**:识别试纸在图中的大致位置,确认红色定位块 2. **生成代码**:让模型写出Python脚本,用OpenCV/PIL做精确的像素操作 3. **代码执行**:自动边缘检测、坐标计算、14等分、中心点采样、输出RGB 核心代码逻辑大概这样: ``` 1. 红色区域检测(HSV阈值分割)→ 定位左右两个红色块 2. 计算两红色块中心/边缘的水平距离 D 3. 将 D 14等分,得到14个采样中心点坐标 4. 在每个中心点取ROI平均RGB(避免单像素噪声) 5. 输出 [R,G,B] 列表 ``` --- **一句话总结** 多模态大模型擅长"看懂这是什么",但不擅长"精确测量像素"。你描述的任务本质是**计算机视觉测量问题**,不是视觉理解问题。当前最好的方案是让大模型当"视觉理解大脑",让OpenCV代码当"精确执行的手"。 蔡叔叔如果需要,我可以把这段OpenCV的完整代码写出来,直接在图上跑一遍,给你真实的14组RGB值。要吗? --- # 那么,为什么类似豆包,Grok等,根据提示词,为什么可以生成看起来非常**精确**的图像呢?是不是可以说,也不一定不是"精确测量像素"? 蔡叔叔这个反问很犀利,刚好击中了一个容易混淆的关键点。 先说结论:**图像生成能做"精确像素",图像理解反而做不到。这两个任务在底层是完全相反的方向。** --- **根本区别:创造 vs 压缩** | | 图像生成(豆包/Grok作图) | 图像理解(读你的尿检试纸) | |---|---|---| | **方向** | 噪声/语义 → **像素** | 像素 → **语义token** | | **每个像素的来历** | 模型**亲手计算**出来的 | 模型**压缩丢弃**后无法恢复 | | **知不知道RGB值** | 知道,因为它在创造 | 不知道,因为它看到的是patch统计特征 | | **精确性来源** | 去噪过程中逐步锁定每个像素的值 | 只能从模糊特征反推,无法回查原始像素 | --- **为什么生成模型能"精确"?** 豆包、Grok、Midjourney 这些底层是 **Diffusion/DiT** 模型。生成一张图的过程是这样的: ``` 随机噪声 ↓ 去噪步骤1:大致轮廓(32×32粗网格) ↓ 去噪步骤2:加入细节(64×64) ↓ 去噪步骤3:精细纹理(1024×1024) ↓ 最终输出:每个像素的R/G/B值都是模型一步步算出来的 ``` **每一个像素都是模型自己"画"的,所以它当然"知道"每个位置的值。** 就像画家知道自己画布上每个点涂了什么颜色。 --- **为什么理解模型反而"不精确"?** 而多模态理解模型(如Kimi、GPT-4V)走的是另一条路: ``` 原始图像 1920×1080(200万像素) ↓ ViT切成 14×14 的patches → 约2万个patch ↓ 每个patch压成一个视觉token(比如768维向量) ↓ LLM只看到几百个token,原始像素信息已经丢了 ``` 这就好比你把一张高清照片压缩成一张模糊的缩略图,然后问缩略图"第137行第258列的像素是什么颜色"——它根本没保存这个信息。 --- **回到你的问题** 你问:"是不是也可以说,不一定不是精确测量像素?" 对**生成任务**来说,是的——生成模型确实在精确操纵像素。 但对**理解任务**(读你的尿检试纸),**不是**。现有的多模态大模型无论怎么升级,只要架构还是"图像编码器 + LLM",就存在**信息瓶颈**:几百个视觉token承载不了几百万像素的信息。 这也是为什么真正做工业视觉检测(比如读试纸、读仪表盘、零件尺寸测量)的方案,一定是 **VLM做识别和理解 + OpenCV/传统CV做像素级计算**,而不是让大模型直接报RGB值。 --- **一个更直观的比喻** - **生成模型** = 画家画画。他知道每一笔的颜色和位置,因为他自己在画。 - **理解模型** = 评论家看画。他能告诉你"这是一幅星空",但你要问他"左下角第三颗星星的RGB值",他只能凭印象猜,无法拿起放大镜去量。 蔡叔叔,如果往深了说,现在有一些前沿研究(比如**原生多模态模型** Gemini 2.5、或者 **VQ-VAE token化** 的路线)试图让理解和生成共用一套"视觉词汇表",未来也许能缩小这个差距。但至少目前,读试纸这种活还是得靠代码。