Files
Obsidian/MyBestNanobot/类似于Kimi2.5, 2.6这样的多模态的大模型,从图片上识别文字的原理是什么.md
T
2026-07-21 14:53:24 +08:00

8.9 KiB
Raw Blame History

多模态大模型做图像文字识别(OCR),本质上是让LLM直接"看懂"图片里的文字,而不是走传统OCR那条"先检测文字区域 → 再逐个识别 → 最后排版"的流水线。

核心机制可以拆成三步:

1. 视觉编码(Vision Encoder) 图像被切成小方块(patches),经过ViT(Vision Transformer)转成一串"视觉token"。这些token携带了图像的语义信息——包括文字的形状、位置、上下文。

2. 对齐投影(Projection Layer) 视觉token的维度和大语言模型的文本token维度不同,需要一个投影层(也叫Adapter或Connector)把视觉特征映射到LLM能理解的语义空间里。这样图片信息和文字信息就在同一个向量空间了。

3. 统一解码(Unified LLM) 视觉token和文本prompt(比如"图中写了什么")拼接成一条序列,送进LLM做自回归生成。模型学到的不是"这个字长什么样",而是**"这个视觉patch对应的文本token应该是什么"**。


和传统OCR的关键区别:

  • 端到端:没有独立的文字检测模块,模型自己决定看哪里、读什么
  • 上下文理解:能结合场景理解文字。比如看到路牌上的"STOP",不只是识别字母,还知道这是交通标志
  • 分辨率处理:为了看清小字,通常会做高分辨率切分(把大图拆成几块分别编码)或动态分辨率缩放

训练层面: 靠的是海量图文对(image-text pairs)的预训练,让模型建立视觉特征和文字token之间的统计关联。后期再用专门的OCR数据微调,提升对密集文字、表格、手写体的识别率。

所以Kimi这类模型不是"长了眼睛的OCR引擎",而是把OCR变成了语言模型的token预测问题。

  • 中文 + 工业级:PaddleOCR-VL(精度最高,功能最全)
  • 长文档 + 高效率:DeepSeek-OCR(压缩比高,显存友好)
  • 轻量 + 边缘部署:GLM-OCR(0.9B,低显存)
  • 办公表格 + 稳定:HunyuanOCR(腾讯背书,版式还原好)
  • 快速验证 + 多语种:EasyOCR(开箱即用,80 + 语言)

PaddleOCR

https://github.com/PaddlePaddle/PaddleOCR

GLM-OCR 是一款面向复杂文档理解的多模态 OCR 模型

https://github.com/zai-org/GLM-OCR/blob/main/README_zh.md

EasyOCR

https://github.com/JaidedAI/EasyOCR

Deepseek OCR

https://github.com/deepseek-ai/DeepSeek-OCR https://github.com/rdumasia303/deepseek_ocr_app

尿检试纸识别


我再来问一个多模态的问题。我先描述一下这个图片,这是一个14项尿常规尿检试纸,试纸两端是两个红色定位块,从红色定位块的边缘算起,计算两点之间的距离,进行距离14等分,读取每个等分的中心点的RGB颜色值,就得到尿检试纸的颜色值。 如果我给你一个这个图片,结合我的上述介绍,你怎么完成这个任务?技术原理是什么?


这是个非常好的问题,而且刚好踩到了当前多模态大模型的能力边界上。

先说结论:纯多模态大模型(如Kimi、GPT-4V)只能完成这个任务的"前半段",精确的像素级RGB读取必须交给代码来做。


大模型能做什么

拿到这张图,模型通过ViT视觉编码器能:

  • 识别出"这是一条尿检试纸,两端有红色参考块"
  • 数出"中间大约有14个色块区域"
  • 描述各区域的大致颜色("左数第2个偏蓝绿色"、"第5个是橙黄色")
  • 理解你描述的"14等分"规则

大模型做不到什么(核心局限)

你要求的精确像素坐标定位 + 精确RGB数值提取,端到端大模型做不了。原因在底层架构:

  1. 分辨率损失:图像被切成patches(比如14×14像素为一个视觉token),模型看到的不是原始像素矩阵,而是patch聚合后的统计特征。一个token可能覆盖了几十个像素,它无法精确定位"红色定位块的边缘到底在第几列"。

  2. 没有数值读取能力:LLM生成的是文本token,RGB值(比如#4A90D9)是它根据视觉特征"猜"出来的,不是从像素里"读"出来的。误差可能很大,尤其是相近颜色。

  3. 空间定位模糊:模型能知道"红色块在左边",但给不出精确的像素坐标(x1, y1, x2, y2),也就无法做严格的几何14等分。


真正的技术方案:大模型理解 + 代码执行

工程上这类任务的标准做法是视觉理解 → 代码生成 → 程序执行:

  1. 大模型:识别试纸在图中的大致位置,确认红色定位块
  2. 生成代码:让模型写出Python脚本,用OpenCV/PIL做精确的像素操作
  3. 代码执行:自动边缘检测、坐标计算、14等分、中心点采样、输出RGB

核心代码逻辑大概这样:

1. 红色区域检测(HSV阈值分割)→ 定位左右两个红色块
2. 计算两红色块中心/边缘的水平距离 D
3. 将 D 14等分,得到14个采样中心点坐标
4. 在每个中心点取ROI平均RGB(避免单像素噪声)
5. 输出 [R,G,B] 列表

一句话总结

多模态大模型擅长"看懂这是什么",但不擅长"精确测量像素"。你描述的任务本质是计算机视觉测量问题,不是视觉理解问题。当前最好的方案是让大模型当"视觉理解大脑",让OpenCV代码当"精确执行的手"。

蔡叔叔如果需要,我可以把这段OpenCV的完整代码写出来,直接在图上跑一遍,给你真实的14组RGB值。要吗?


那么,为什么类似豆包,Grok等,根据提示词,为什么可以生成看起来非常精确的图像呢?是不是可以说,也不一定不是"精确测量像素"?

蔡叔叔这个反问很犀利,刚好击中了一个容易混淆的关键点。

先说结论:图像生成能做"精确像素",图像理解反而做不到。这两个任务在底层是完全相反的方向。


根本区别:创造 vs 压缩

图像生成(豆包/Grok作图) 图像理解(读你的尿检试纸)
方向 噪声/语义 → 像素 像素 → 语义token
每个像素的来历 模型亲手计算出来的 模型压缩丢弃后无法恢复
知不知道RGB值 知道,因为它在创造 不知道,因为它看到的是patch统计特征
精确性来源 去噪过程中逐步锁定每个像素的值 只能从模糊特征反推,无法回查原始像素

为什么生成模型能"精确"?

豆包、Grok、Midjourney 这些底层是 Diffusion/DiT 模型。生成一张图的过程是这样的:

随机噪声 
   ↓
去噪步骤1:大致轮廓(32×32粗网格)
   ↓
去噪步骤2:加入细节(64×64)
   ↓
去噪步骤3:精细纹理(1024×1024)
   ↓
最终输出:每个像素的R/G/B值都是模型一步步算出来的

每一个像素都是模型自己"画"的,所以它当然"知道"每个位置的值。 就像画家知道自己画布上每个点涂了什么颜色。


为什么理解模型反而"不精确"?

而多模态理解模型(如Kimi、GPT-4V)走的是另一条路:

原始图像 1920×1080(200万像素)
   ↓
ViT切成 14×14 的patches → 约2万个patch
   ↓
每个patch压成一个视觉token(比如768维向量)
   ↓
LLM只看到几百个token,原始像素信息已经丢了

这就好比你把一张高清照片压缩成一张模糊的缩略图,然后问缩略图"第137行第258列的像素是什么颜色"——它根本没保存这个信息。


回到你的问题

你问:"是不是也可以说,不一定不是精确测量像素?"

对生成任务来说,是的——生成模型确实在精确操纵像素。

但对理解任务(读你的尿检试纸),不是。现有的多模态大模型无论怎么升级,只要架构还是"图像编码器 + LLM",就存在信息瓶颈:几百个视觉token承载不了几百万像素的信息。

这也是为什么真正做工业视觉检测(比如读试纸、读仪表盘、零件尺寸测量)的方案,一定是 VLM做识别和理解 + OpenCV/传统CV做像素级计算,而不是让大模型直接报RGB值。


一个更直观的比喻

  • 生成模型 = 画家画画。他知道每一笔的颜色和位置,因为他自己在画。
  • 理解模型 = 评论家看画。他能告诉你"这是一幅星空",但你要问他"左下角第三颗星星的RGB值",他只能凭印象猜,无法拿起放大镜去量。

蔡叔叔,如果往深了说,现在有一些前沿研究(比如原生多模态模型 Gemini 2.5、或者 VQ-VAE token化 的路线)试图让理解和生成共用一套"视觉词汇表",未来也许能缩小这个差距。但至少目前,读试纸这种活还是得靠代码。