8.9 KiB
多模态大模型做图像文字识别(OCR),本质上是让LLM直接"看懂"图片里的文字,而不是走传统OCR那条"先检测文字区域 → 再逐个识别 → 最后排版"的流水线。
核心机制可以拆成三步:
1. 视觉编码(Vision Encoder) 图像被切成小方块(patches),经过ViT(Vision Transformer)转成一串"视觉token"。这些token携带了图像的语义信息——包括文字的形状、位置、上下文。
2. 对齐投影(Projection Layer) 视觉token的维度和大语言模型的文本token维度不同,需要一个投影层(也叫Adapter或Connector)把视觉特征映射到LLM能理解的语义空间里。这样图片信息和文字信息就在同一个向量空间了。
3. 统一解码(Unified LLM) 视觉token和文本prompt(比如"图中写了什么")拼接成一条序列,送进LLM做自回归生成。模型学到的不是"这个字长什么样",而是**"这个视觉patch对应的文本token应该是什么"**。
和传统OCR的关键区别:
- 端到端:没有独立的文字检测模块,模型自己决定看哪里、读什么
- 上下文理解:能结合场景理解文字。比如看到路牌上的"STOP",不只是识别字母,还知道这是交通标志
- 分辨率处理:为了看清小字,通常会做高分辨率切分(把大图拆成几块分别编码)或动态分辨率缩放
训练层面: 靠的是海量图文对(image-text pairs)的预训练,让模型建立视觉特征和文字token之间的统计关联。后期再用专门的OCR数据微调,提升对密集文字、表格、手写体的识别率。
所以Kimi这类模型不是"长了眼睛的OCR引擎",而是把OCR变成了语言模型的token预测问题。
- 中文 + 工业级:PaddleOCR-VL(精度最高,功能最全)
- 长文档 + 高效率:DeepSeek-OCR(压缩比高,显存友好)
- 轻量 + 边缘部署:GLM-OCR(0.9B,低显存)
- 办公表格 + 稳定:HunyuanOCR(腾讯背书,版式还原好)
- 快速验证 + 多语种:EasyOCR(开箱即用,80 + 语言)
PaddleOCR
https://github.com/PaddlePaddle/PaddleOCR
GLM-OCR 是一款面向复杂文档理解的多模态 OCR 模型
https://github.com/zai-org/GLM-OCR/blob/main/README_zh.md
EasyOCR
https://github.com/JaidedAI/EasyOCR
Deepseek OCR
https://github.com/deepseek-ai/DeepSeek-OCR https://github.com/rdumasia303/deepseek_ocr_app
尿检试纸识别
![]()
我再来问一个多模态的问题。我先描述一下这个图片,这是一个14项尿常规尿检试纸,试纸两端是两个红色定位块,从红色定位块的边缘算起,计算两点之间的距离,进行距离14等分,读取每个等分的中心点的RGB颜色值,就得到尿检试纸的颜色值。 如果我给你一个这个图片,结合我的上述介绍,你怎么完成这个任务?技术原理是什么?
这是个非常好的问题,而且刚好踩到了当前多模态大模型的能力边界上。
先说结论:纯多模态大模型(如Kimi、GPT-4V)只能完成这个任务的"前半段",精确的像素级RGB读取必须交给代码来做。
大模型能做什么
拿到这张图,模型通过ViT视觉编码器能:
- 识别出"这是一条尿检试纸,两端有红色参考块"
- 数出"中间大约有14个色块区域"
- 描述各区域的大致颜色("左数第2个偏蓝绿色"、"第5个是橙黄色")
- 理解你描述的"14等分"规则
大模型做不到什么(核心局限)
你要求的精确像素坐标定位 + 精确RGB数值提取,端到端大模型做不了。原因在底层架构:
-
分辨率损失:图像被切成patches(比如14×14像素为一个视觉token),模型看到的不是原始像素矩阵,而是patch聚合后的统计特征。一个token可能覆盖了几十个像素,它无法精确定位"红色定位块的边缘到底在第几列"。
-
没有数值读取能力:LLM生成的是文本token,RGB值(比如
#4A90D9)是它根据视觉特征"猜"出来的,不是从像素里"读"出来的。误差可能很大,尤其是相近颜色。 -
空间定位模糊:模型能知道"红色块在左边",但给不出精确的像素坐标
(x1, y1, x2, y2),也就无法做严格的几何14等分。
真正的技术方案:大模型理解 + 代码执行
工程上这类任务的标准做法是视觉理解 → 代码生成 → 程序执行:
- 大模型:识别试纸在图中的大致位置,确认红色定位块
- 生成代码:让模型写出Python脚本,用OpenCV/PIL做精确的像素操作
- 代码执行:自动边缘检测、坐标计算、14等分、中心点采样、输出RGB
核心代码逻辑大概这样:
1. 红色区域检测(HSV阈值分割)→ 定位左右两个红色块
2. 计算两红色块中心/边缘的水平距离 D
3. 将 D 14等分,得到14个采样中心点坐标
4. 在每个中心点取ROI平均RGB(避免单像素噪声)
5. 输出 [R,G,B] 列表
一句话总结
多模态大模型擅长"看懂这是什么",但不擅长"精确测量像素"。你描述的任务本质是计算机视觉测量问题,不是视觉理解问题。当前最好的方案是让大模型当"视觉理解大脑",让OpenCV代码当"精确执行的手"。
蔡叔叔如果需要,我可以把这段OpenCV的完整代码写出来,直接在图上跑一遍,给你真实的14组RGB值。要吗?
那么,为什么类似豆包,Grok等,根据提示词,为什么可以生成看起来非常精确的图像呢?是不是可以说,也不一定不是"精确测量像素"?
蔡叔叔这个反问很犀利,刚好击中了一个容易混淆的关键点。
先说结论:图像生成能做"精确像素",图像理解反而做不到。这两个任务在底层是完全相反的方向。
根本区别:创造 vs 压缩
| 图像生成(豆包/Grok作图) | 图像理解(读你的尿检试纸) | |
|---|---|---|
| 方向 | 噪声/语义 → 像素 | 像素 → 语义token |
| 每个像素的来历 | 模型亲手计算出来的 | 模型压缩丢弃后无法恢复 |
| 知不知道RGB值 | 知道,因为它在创造 | 不知道,因为它看到的是patch统计特征 |
| 精确性来源 | 去噪过程中逐步锁定每个像素的值 | 只能从模糊特征反推,无法回查原始像素 |
为什么生成模型能"精确"?
豆包、Grok、Midjourney 这些底层是 Diffusion/DiT 模型。生成一张图的过程是这样的:
随机噪声
↓
去噪步骤1:大致轮廓(32×32粗网格)
↓
去噪步骤2:加入细节(64×64)
↓
去噪步骤3:精细纹理(1024×1024)
↓
最终输出:每个像素的R/G/B值都是模型一步步算出来的
每一个像素都是模型自己"画"的,所以它当然"知道"每个位置的值。 就像画家知道自己画布上每个点涂了什么颜色。
为什么理解模型反而"不精确"?
而多模态理解模型(如Kimi、GPT-4V)走的是另一条路:
原始图像 1920×1080(200万像素)
↓
ViT切成 14×14 的patches → 约2万个patch
↓
每个patch压成一个视觉token(比如768维向量)
↓
LLM只看到几百个token,原始像素信息已经丢了
这就好比你把一张高清照片压缩成一张模糊的缩略图,然后问缩略图"第137行第258列的像素是什么颜色"——它根本没保存这个信息。
回到你的问题
你问:"是不是也可以说,不一定不是精确测量像素?"
对生成任务来说,是的——生成模型确实在精确操纵像素。
但对理解任务(读你的尿检试纸),不是。现有的多模态大模型无论怎么升级,只要架构还是"图像编码器 + LLM",就存在信息瓶颈:几百个视觉token承载不了几百万像素的信息。
这也是为什么真正做工业视觉检测(比如读试纸、读仪表盘、零件尺寸测量)的方案,一定是 VLM做识别和理解 + OpenCV/传统CV做像素级计算,而不是让大模型直接报RGB值。
一个更直观的比喻
- 生成模型 = 画家画画。他知道每一笔的颜色和位置,因为他自己在画。
- 理解模型 = 评论家看画。他能告诉你"这是一幅星空",但你要问他"左下角第三颗星星的RGB值",他只能凭印象猜,无法拿起放大镜去量。
蔡叔叔,如果往深了说,现在有一些前沿研究(比如原生多模态模型 Gemini 2.5、或者 VQ-VAE token化 的路线)试图让理解和生成共用一套"视觉词汇表",未来也许能缩小这个差距。但至少目前,读试纸这种活还是得靠代码。