Files
Obsidian/MyBestNanobot/类似于Kimi2.5, 2.6这样的多模态的大模型,从图片上识别文字的原理是什么.md
T
2026-07-21 14:53:24 +08:00

199 lines
8.9 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
多模态大模型做图像文字识别(OCR),本质上是**让LLM直接"看懂"图片里的文字**,而不是走传统OCR那条"先检测文字区域 → 再逐个识别 → 最后排版"的流水线。
核心机制可以拆成三步:
**1. 视觉编码(Vision Encoder)**
图像被切成小方块(patches),经过ViT(Vision Transformer)转成一串"视觉token"。这些token携带了图像的语义信息——包括文字的形状、位置、上下文。
**2. 对齐投影(Projection Layer)**
视觉token的维度和大语言模型的文本token维度不同,需要一个投影层(也叫Adapter或Connector)把视觉特征映射到LLM能理解的语义空间里。这样图片信息和文字信息就在同一个向量空间了。
**3. 统一解码(Unified LLM)**
视觉token和文本prompt(比如"图中写了什么")拼接成一条序列,送进LLM做自回归生成。模型学到的不是"这个字长什么样",而是**"这个视觉patch对应的文本token应该是什么"**。
---
**和传统OCR的关键区别:**
- **端到端**:没有独立的文字检测模块,模型自己决定看哪里、读什么
- **上下文理解**:能结合场景理解文字。比如看到路牌上的"STOP",不只是识别字母,还知道这是交通标志
- **分辨率处理**:为了看清小字,通常会做高分辨率切分(把大图拆成几块分别编码)或动态分辨率缩放
**训练层面:**
靠的是海量图文对(image-text pairs)的预训练,让模型建立视觉特征和文字token之间的统计关联。后期再用专门的OCR数据微调,提升对密集文字、表格、手写体的识别率。
所以Kimi这类模型不是"长了眼睛的OCR引擎",而是**把OCR变成了语言模型的token预测问题**。
- **中文 + 工业级**:PaddleOCR-VL(精度最高,功能最全)
- **长文档 + 高效率**:DeepSeek-OCR(压缩比高,显存友好)
- **轻量 + 边缘部署**:GLM-OCR(0.9B,低显存)
- **办公表格 + 稳定**:HunyuanOCR(腾讯背书,版式还原好)
- **快速验证 + 多语种**:EasyOCR(开箱即用,80 + 语言)
-
# PaddleOCR
https://github.com/PaddlePaddle/PaddleOCR
# GLM-OCR 是一款面向复杂文档理解的多模态 OCR 模型
https://github.com/zai-org/GLM-OCR/blob/main/README_zh.md
# EasyOCR
https://github.com/JaidedAI/EasyOCR
# Deepseek OCR
https://github.com/deepseek-ai/DeepSeek-OCR
https://github.com/rdumasia303/deepseek_ocr_app
# 尿检试纸识别
![](file:///C:/Users/hukou/Documents/Tencent%20Files/2927951/nt_qq/nt_data/Pic/2026-05/Thumb/f913a3c0e3511f2e672f32b29f0bce87_0.png)
我再来问一个多模态的问题。我先描述一下这个图片,**这是一个14项尿常规尿检试纸,试纸两端是两个红色定位块,从红色定位块的边缘算起,计算两点之间的距离,进行距离14等分,读取每个等分的中心点的RGB颜色值,就得到尿检试纸的颜色值。** 如果我给你一个这个图片,结合我的上述介绍,你怎么完成这个任务?技术原理是什么?
---
这是个非常好的问题,而且刚好踩到了当前多模态大模型的**能力边界**上。
先说结论:**纯多模态大模型(如Kimi、GPT-4V)只能完成这个任务的"前半段",精确的像素级RGB读取必须交给代码来做。**
---
**大模型能做什么**
拿到这张图,模型通过ViT视觉编码器能:
- 识别出"这是一条尿检试纸,两端有红色参考块"
- 数出"中间大约有14个色块区域"
- 描述各区域的大致颜色("左数第2个偏蓝绿色"、"第5个是橙黄色")
- 理解你描述的"14等分"规则
**大模型做不到什么(核心局限)**
你要求的**精确像素坐标定位 + 精确RGB数值提取**,端到端大模型做不了。原因在底层架构:
1. **分辨率损失**:图像被切成patches(比如14×14像素为一个视觉token),模型看到的不是原始像素矩阵,而是patch聚合后的统计特征。一个token可能覆盖了几十个像素,它无法精确定位"红色定位块的边缘到底在第几列"。
2. **没有数值读取能力**:LLM生成的是文本token,RGB值(比如`#4A90D9`)是它根据视觉特征"猜"出来的,不是从像素里"读"出来的。误差可能很大,尤其是相近颜色。
3. **空间定位模糊**:模型能知道"红色块在左边",但给不出精确的像素坐标`(x1, y1, x2, y2)`,也就无法做严格的几何14等分。
---
**真正的技术方案:大模型理解 + 代码执行**
工程上这类任务的标准做法是**视觉理解 → 代码生成 → 程序执行**:
1. **大模型**:识别试纸在图中的大致位置,确认红色定位块
2. **生成代码**:让模型写出Python脚本,用OpenCV/PIL做精确的像素操作
3. **代码执行**:自动边缘检测、坐标计算、14等分、中心点采样、输出RGB
核心代码逻辑大概这样:
```
1. 红色区域检测(HSV阈值分割)→ 定位左右两个红色块
2. 计算两红色块中心/边缘的水平距离 D
3. 将 D 14等分,得到14个采样中心点坐标
4. 在每个中心点取ROI平均RGB(避免单像素噪声)
5. 输出 [R,G,B] 列表
```
---
**一句话总结**
多模态大模型擅长"看懂这是什么",但不擅长"精确测量像素"。你描述的任务本质是**计算机视觉测量问题**,不是视觉理解问题。当前最好的方案是让大模型当"视觉理解大脑",让OpenCV代码当"精确执行的手"。
蔡叔叔如果需要,我可以把这段OpenCV的完整代码写出来,直接在图上跑一遍,给你真实的14组RGB值。要吗?
---
# 那么,为什么类似豆包,Grok等,根据提示词,为什么可以生成看起来非常**精确**的图像呢?是不是可以说,也不一定不是"精确测量像素"?
蔡叔叔这个反问很犀利,刚好击中了一个容易混淆的关键点。
先说结论:**图像生成能做"精确像素",图像理解反而做不到。这两个任务在底层是完全相反的方向。**
---
**根本区别:创造 vs 压缩**
| | 图像生成(豆包/Grok作图) | 图像理解(读你的尿检试纸) |
|---|---|---|
| **方向** | 噪声/语义 → **像素** | 像素 → **语义token** |
| **每个像素的来历** | 模型**亲手计算**出来的 | 模型**压缩丢弃**后无法恢复 |
| **知不知道RGB值** | 知道,因为它在创造 | 不知道,因为它看到的是patch统计特征 |
| **精确性来源** | 去噪过程中逐步锁定每个像素的值 | 只能从模糊特征反推,无法回查原始像素 |
---
**为什么生成模型能"精确"?**
豆包、Grok、Midjourney 这些底层是 **Diffusion/DiT** 模型。生成一张图的过程是这样的:
```
随机噪声
↓
去噪步骤1:大致轮廓(32×32粗网格)
↓
去噪步骤2:加入细节(64×64)
↓
去噪步骤3:精细纹理(1024×1024)
↓
最终输出:每个像素的R/G/B值都是模型一步步算出来的
```
**每一个像素都是模型自己"画"的,所以它当然"知道"每个位置的值。** 就像画家知道自己画布上每个点涂了什么颜色。
---
**为什么理解模型反而"不精确"?**
而多模态理解模型(如Kimi、GPT-4V)走的是另一条路:
```
原始图像 1920×1080(200万像素)
↓
ViT切成 14×14 的patches → 约2万个patch
↓
每个patch压成一个视觉token(比如768维向量)
↓
LLM只看到几百个token,原始像素信息已经丢了
```
这就好比你把一张高清照片压缩成一张模糊的缩略图,然后问缩略图"第137行第258列的像素是什么颜色"——它根本没保存这个信息。
---
**回到你的问题**
你问:"是不是也可以说,不一定不是精确测量像素?"
对**生成任务**来说,是的——生成模型确实在精确操纵像素。
但对**理解任务**(读你的尿检试纸),**不是**。现有的多模态大模型无论怎么升级,只要架构还是"图像编码器 + LLM",就存在**信息瓶颈**:几百个视觉token承载不了几百万像素的信息。
这也是为什么真正做工业视觉检测(比如读试纸、读仪表盘、零件尺寸测量)的方案,一定是 **VLM做识别和理解 + OpenCV/传统CV做像素级计算**,而不是让大模型直接报RGB值。
---
**一个更直观的比喻**
- **生成模型** = 画家画画。他知道每一笔的颜色和位置,因为他自己在画。
- **理解模型** = 评论家看画。他能告诉你"这是一幅星空",但你要问他"左下角第三颗星星的RGB值",他只能凭印象猜,无法拿起放大镜去量。
蔡叔叔,如果往深了说,现在有一些前沿研究(比如**原生多模态模型** Gemini 2.5、或者 **VQ-VAE token化** 的路线)试图让理解和生成共用一套"视觉词汇表",未来也许能缩小这个差距。但至少目前,读试纸这种活还是得靠代码。