Files
Obsidian/MyWorks/鸿蒙算法改造.md
T
coco 8b94d76799 a
2026-07-21 13:57:15 +08:00

655 lines
47 KiB
Markdown
Raw Blame History

This file contains invisible Unicode characters
This file contains invisible Unicode characters that are indistinguishable to humans but may be processed differently by a computer. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# CPP模块介绍
这个opencv图像处理模块,路径在E:\Qoder\urologist\entry\src\main\cpp
实现的功能包括:
1. 对尿检试纸进行定位;
2. 获取每个尿检化学反应色块的颜色值。
通过N-API接口实现ArkTS/TS/JS与C/C++之间的交互。
这个函数是调用的主入口函数:napi_value SayHello(napi_env env, napi_callback_info info)
 
# 试纸定义
## 试纸描述
- 干化学试纸的规格。试纸高度5毫米。通过拍照出来的图片存在变形可能性,不一定是5毫米。本文以下的试纸宽度和高度描述,都是基于设计和生成的高度,程序中计算相应的数据时,需要注意这一点。算法实现上肯定不是基于这种厘米毫米单位来计算距离的,而是通过本文描述的这种长宽比率之类算相对值。
- 产品支持多个规格的试纸,包括14联,11联,10联,8联多种试纸
>参考BlockItems结构。
- 试纸设计了两个定位块,一大一小。检测项和定位块的高度都是一样的,并且都是顶部对齐的,在一条线上的。两个定位块处在两边,检测项夹在中间。小定位块的宽度始终是3毫米。大定位的宽度可能是10毫米,或者15毫米。
> 参考BigLocatorType结构。
- 结果试纸的联数,和大定位块的长度,则可以定义出不同规格的试纸类型
> 参考PaperSpatialType, 其中 PST_14_S 表示 14联且是10毫米的**大定位块**, PST_14_L表示 14联且是15毫米的**大定位块**
- 定位块的颜色有3种,即后文配置文件中的color,分别对应red(1),green(2),blue(3) 。每条试纸上的两端的定位块颜色,一定是相同的。通过算法找出来的定位块颜色,一定是接近的,如果相差太远,就一定是找错定位块了。
> 参考LocatorColorClassification结构。
- 试纸的每个检测项目是一个色块,色块是5毫米 X 5毫米的正方形。色块中的化学物质同尿液成分发生化学反应,呈现不同颜色值。
- 大定位块,检测项色块,小定位块,它们之间的空白间隔是2毫米。例如,假设8联试纸的大定位块宽带10毫米。那么这个试纸的总长度是这么计算出来的,3(小定位块宽) + 10(大定位块宽) + 5 * 8(检测项总宽) + 9 * 2 (8个色块,对应着9个间隔) = 71毫米。
- 用户在使用试纸的时候,摆放顺序可能比较随意,可能平放也可能不是完全平放。可能是小定位块放左边,也肯能放右边。
- 从小定位块和大定位块的中心点,画一条直线,那么理论上肯定是穿过所有检测项目的中心点。在找到每个检测项中心点后,基于每个中心点,以中心点为中心,做5X5的矩形,取这个矩形25个像素的颜色值的均值,作为每个检测项目的色块颜色。取出的颜色值如果是RGB,需要通过opencv的颜色转换函数得到HSV和LAB颜色。
## 试纸的样例
E:\Qoder\urologist\entry\src\main\cpp\images目录下的,red_paper.jpg和blue_paper.jpg是设计图,其他的jpg文件是摄像头采集的图片,如65686153160b075c3d7eb019f9eecdb4.jpg
# 模块改造需求
## 原有代码的主要定义,需要继续保留的定义(可以重新命名):
1. BlockItems 试纸的联数,14项,11,9,7
2. BigLocatorType 大定位块的类型,1 ( 15毫米),0 (10毫米)
3. LocatorColorClassification 定位块的颜色,同一个试纸,大小定位块颜色始终一致
4. PaperSpatialType 试纸类型规格,PST_14_S表示:14项,小定位块; PST_11_L表示:11项,大定位块
5. PaperConfig 每一个具体规格的试纸,具体的参数值, 这个试纸规格的结构,可以完全重新定义,需要什么参数就定义什么参数:
    PaperConfig* pc = new PaperConfig();
    pc->itemsNum = 14; //BI_14 14项试纸
    pc->paperSpatialType = PST_14_S; //14项,小定位块
    pc->slicesNum = 50; //2毫米为单位的最小分割单位数量,两个定位块靠近反应色块的边缘之间的距离 除以 2毫米单位,得到这个值。之前通过这个值,获得每个化学反应色块的中心点位置
    pc->firstPos = 2.25; //这个值乘以2毫米,得到靠近定位块的第一个化学反应色块的中心点位置
    pc->step = 3.5; // 这个值乘以2毫米,得到相邻两个化学反应色块之间的距离
    pc->distTimes = 21.3; //两个定位块中心点的距离 除以 试纸高度
    pc->whRRatio = 2;//大定位块(假设大定位块在右边,右边定位块)的长(宽) 高 比例,10毫米宽 除以 5毫米的试纸高。
    pc->whLRatio = 0.6; //小大定位块(假设大定位块在左边,左边定位块)的长(宽) 高 比例,3毫米宽 除以 5毫米高
    mapPaperConfig.insert(std::make_pair(PST_14_S, pc));
## 代码修改范围限于:E:\Qoder\urologist\entry\src\main\cpp,其他目录的代码不要做任何修改
## 基于Opencv开源库,使用C++代码实现现有的业务逻辑,需要实现的逻辑包括(但不限于):
1. 从上层NAPI接收图片
2. 试纸定位:根据试纸定位块的特点(前文有说明),找到定位块,从PaperConfig列表里找到符合条件的试纸规格;
试纸定位块的颜色不是绝对相等的,红,绿,蓝都是相对范围;
同一个试纸的的两个定位块颜色一定是一样的,颜色即使生产和扫描出现颜色色差也是不大的;
从摄像头出来的图片会存在变形的,因此无论是反应色块,定位块,定位块之间的距离,都会存在一定的误差,**所以计算任何一个试纸相关的空间值的时候,都需要有一个误差范围**,可以定义一些全局的误差范围,方便随时微调
试纸摆放是随意的,不一定是水平的,有可能大定位块在左边,也可能大定位块在右边,甚至存在垂直或者一定的角度
前文中讲的 **所有毫米单位,都是试纸生成的实际尺寸**, 在图像处理和计算的时候,这些生产的试纸尺寸都是作为一个计算比例,需要根据试纸图片的实际像素进行相应的比例计算的。
3. 获得反应色块的中心点位置列表
根据找到的反应色块,进一步根据找到的PaperConfig规格,获得每一个化学反应色块的中心点
为了给用户实际扫描尿检的操作过程中,提供视觉的参考,对于成功定位的试纸,需要围绕每个反应色块的中心点,画一个红色圆圈(半径5像素),绘制在原图上,原图会返回给上层的NAPI,显示到用户的手机屏幕上。
4. 读取每个化学反应色块的颜色值
因为前面步骤会在原图上画定位的圆圈。因此基于画了圈之后的原图读取中心点的颜色,可能收到颜色干扰。
因此,应该在画圈之前,复制一个原图的Mat。基于复制的Mat进行读取颜色的操作。
从摄像头采集的图片,存在环境光的干扰,读取颜色之前,需要做白平衡处理。
读取的颜色值,填写给上层调用者的,始终是靠近小定位块的排第一个,无论小定位块在左边还是右边等等。
从白平衡处理后的图片中读取围绕中心点的25个像素的均值颜色值HSV和LAB
## NAPI的入口函数SayHello介绍
核心的上下层的交互函数就是SayHello,这个函数位于napi_init.cpp中:
调用图片定位算法
读取每个化学反应色块的颜色值
填写返回给上层的返回值
## 具体编码要求
### 只改造E:\Qoder\urologist\entry\src\main\cpp目录下的CPP代码逻辑
### 重新写基于opencv库的C++业务代码,创建新文件,不要基于老的C++代码进行修改(除了napi_init.cpp外)。
### napi_init.cpp可以修改,但建议只重写SayHello函数,将老的SayHello注释掉。给SayHello的返回值必须保持一致,这样上层的调用者就不需要调整代码。
## 测试要求
### 写完代码之后,需要测试,**编写测试的C++代码文件,测试试纸定位和获取颜色值**。
我的Opencv的windows官方库,安装在D:\opencv这个目录,测试代码需要链接opencv的头文件和静态库和动态库,可以到这个目录找到。
E:\Qoder\urologist\entry\src\main\cpp\images 目录下有多个测试图片:
11green_1.png
11green_2.png
14blue_1.png
14blue_2.png
14red_1.png
14red_2.png
144a8eec813190f8aebd65fde1cfb37a.jpg
41bc77e5411c53d30aad2a234c41cc21.jpg
42a87ab3574693a24284169b1a34d4f6.jpg
486c492d8e557d7165e7f1ee7d1c46fc.jpg
65686153160b075c3d7eb019f9eecdb4.jpg
8372934490298af55253e4fa6fd0d400.jpg
89d1025813cf81ccc53706c1dca5ff72.jpg
a2d3bb35cc0f69ccd6a1e400dc197b5d.jpg
be3af2fa7372464a98172a91fa52adb8.jpg
c841c6a39cdde0a8a98a32693cf40142.jpg
以下两个图片,是设计图(如果你能读取,则读取看看,了解一下):
red_paper.jpg
blue_paper.jpg
### 测试输出
建议在E:\Qoder\urologist\entry\src\main\cpp 建一个测试目录,存放测试结果。
测试结果输出需要涵盖:
1、图片是否识别成功
2、成功的图片需要在图片的定位块和反应色块中心位置画红色圈,方便我检查效果
3、成功定位的图片,颜色值HSV,LAB,RGB,建议每个图片存储一个文本文件
4、成功定位识别的图片,根据读取的颜色值,还原生成一个新图片(模拟试纸的形状, 定位块,反应色块。 反应色块的颜色就用读取的颜色)
# 最终的输出
这一步先不做,等一切测试结束,没有问题了。我再来说,下达指令。
这一步,主要是:
修改CMakeLists,将新编写的C++代码放进去
编译hap测试
---
我需要重新构建我的opencv尿检识别库。我在 E:\Qoder\urologist目录,放了一个需求文件**鸿蒙算法改造.md**,请仔细研读:
1、找出我的需求漏洞,给我提问题,直到我们双方达成一致意见。将我们的沟通意见,写在一个沟通日志里。
2、如果需求没有问题,构建你的Plan,技术路线,技术架构,实现方法,实现步骤,测试计划等等。这些内容,都应该写入文档。
3、做完上述事项,告诉我。我让你逐步实现这个项目。
---
**做所有的事情之前,请阅读原有的CPP代码(E:\Qoder\urologist\entry\src\main\cpp)了解现有代码逻辑,现有代码逻辑也许有细微的不合理之处,但是可以作为新代码的参考**
**如有必要,可以识别一下试纸,了解一下试纸的特征**, 如试纸:11green_1,14red_1
**如果还有问题,继续问我**
一、试纸定位算法相关
Q1:定位块的识别特征
文档提到定位块有颜色(红/绿/蓝),但具体颜色范围(HSV边界值)是什么?
定位块的形状特征是什么?矩形?是否有最小/最大面积限制?
如何区分"找到的矩形"是定位块还是反应色块?
A1:
定位块颜色,建议使用R,G,B的分量比例 来判 试纸定位块颜色。因为支持的试纸中,绿色可能就有几种绿色,采用单一固定值可能有问题,同时计算HSV边界值可能在快速找到的opencv轮廓,会降低效率。
定位块有两种,每个试纸有两个定位块,处于试纸两端。试纸高度始终是5毫米。小定位块宽度3毫米,高5毫米。大定位块有两种,高度都是5毫米,宽度一个是10毫米,一个是15毫米。
根据我对定位块的描述看,定位块肯定是矩形的,而反应色块是正方形的。**有必要说一句,反应色块可能什么颜色也没有,白色。通过opencv的轮廓查找函数,是找不到这些白色的反应色块的**
两个定位块在试纸的两端,中间的部分是试纸反应色块的位置。我在试纸定义有描述。
Q2:定位失败的处理
如果找不到两个定位块,返回什么错误码?
如果找到多个候选定位块,如何选择正确的?
A2:
定位试纸的一个要诀,反应色块和定位块是一条线的,对齐的。(我在原有代码中用了一个fitLine函数,将所有的这些找到的轮廓做一个线性拟合,判断反应色块和定位块是否在一条线上。。。我的方法是不准确,不太对的)。
找不到两个定位块,返回错误,参考现有的SayHello代码。
一张图片上,找到多于2个定位块,直接返回错误,不做进一步的处理,参考现有的SayHello代码。
Q3:试纸角度处理
文档说"可能存在垂直或者一定的角度",最大倾斜角度是多少度?
是否需要做图像旋转校正?还是只需要计算斜率来定位色块中心点?
A3:
不要限制倾斜角度,根据opencv查找轮廓,根据轮廓特征,进一步定位到试纸就好。
不要对图片进行旋转处理,根据几何和数学公司,结合计算出来的斜率来定位试纸和中心点等等
二、PaperConfig 参数相关
Q4:slicesNum 计算方式
文档说"slicesNum = 两个定位块靠近反应色块的边缘之间的距离 / 2毫米"
但实际像素中,这个"2毫米"如何转换?是否应该用"定位块高度"作为基准单位?
A4:
这是一个比例问题,我给的2毫米,这些单位都是生产单位。你需要根据这种生产单位转换成一个比例值。假如某种试纸,10毫米 X 5毫米的定位块,通过查找图片得到这个定位块,这个定位块的长宽可能是100像素 X 50像素。这个时候,抛开这个像素,和毫米的单位,你发现了没有数值放大了10倍,那么你按照PaperConfig里面的这些值来计算具体的像素,就是乘10的关系了。
**我不知道我讲清楚了没有,没有的话,这一点,你继续提问。**
Q5:firstPos 和 step 的单位
这两个值是"以2毫米为单位"还是"以最小分割单位为单位"?
例如 firstPos = 2.25,是说第一个色块中心点距离定位块边缘 2.25×2毫米 = 4.5毫米?
A5:是的。我们用毫米计算看哈,定位块边缘到第一个反应色块距离2毫米,反应色块的宽高是5毫米,则中心点到边缘上2.5毫米, (2 + 2.5)/ 2 = 2.25 ,除数2是最小分割单位为单位。
本质上,firstPos 和 step 这两个值,是一个倍数。
"以2毫米为单位"还是"以最小分割单位为单位" 这个是基于生产试纸的实际尺寸的。
而你的计算是基于像素的。
三、颜色读取相关
Q6:白平衡算法
现有代码有 Whitebalance 和 WhitebalancePR 两个函数,使用哪个?
白平衡参考点如何选取?是从定位块?还是从特定区域?
A6: 我放了一个目录reference进来,里面存放了你之前帮我写的另外一个项目的代码,也是关于尿检试纸的。你可以借鉴和阅读。包含了试纸定位和颜色纠偏(白平衡)的算法。具体哪个更好,需要实际测试。我感觉你之前帮我写的目录reference下面的颜色纠偏效果可以。
白平衡基于整个图片进行。
Q7:颜色返回顺序
"靠近小定位块的排第一个"——如果小定位块在右边,是否从右往左编号?
返回的颜色顺序是否需要根据试纸摆放方向反转?
A7: 颜色选取顺序始终是从靠近小定位块的化学反应色块开始的。无论试纸怎么摆放。
Q8:采样区域大小
文档说"5X5的矩形,取25个像素",但实际图片中5毫米对应多少像素?
是否需要根据检测到的试纸高度动态计算采样半径?
A8: 我提的方案是基于中心点,取25个像素,是减少计算量的方式。你可以尝试使用动态计算半径的方式。最少取25个像素的均值。
四、返回值格式相关
Q9:SayHello 返回值确认
现有返回值包含 buffer、width、height、statusCode、strBuffer 等
新实现是否完全保持一致?
strBuffer 中的颜色值格式是否保持 {"id":0,"value":"h,s,v,l,a,b"} 这种JSON格式?
A9:完全一致,因为我不想改造上层代码。strBuffer格式也是如此。
甚至测试的时候,你应该把这些结果也存储下来,我可以比较对不对。
五、测试相关
Q10:测试代码运行环境
Windows下独立测试程序,还是需要集成到鸿蒙项目测试?
测试程序是否需要支持命令行参数指定图片路径?
A10: 你写独立的windows命令行程序,你自己运行测试程序。同时,告诉我怎么运行你写的测试程序。
Q11:误差范围参数
文档提到"需要定义一些全局的误差范围",具体有哪些误差参数?
例如:颜色误差、面积误差、距离误差、角度误差等
A11: 你说的误差参数,都存在。你也可以从我的老代码里,看到一些写死的值,这些值大多数是我测试时候使用的经验性误差值。误差值如果太小会让识别成功率较低,误差值太大会让误判率增加。
颜色误差:定位块R,G,B前面讲了,主要采用定位块轮廓里的R,G,B分量大小判断,附加上 大小定位块颜色是否接近:
两个 RGB 颜色 `Color1(R1,G1,B1)` 和 `Color2(R2,G2,B2)` 的欧式距离d=(R1−R2)2+(G1−G2)2+(B1−B2)2​。 关键阈值(行业通用标准),RGB 每个通道取值范围:**0~255**,
1. **完全相同**:距离 `d = 0`
2. **人眼几乎无法区分(接近)**:距离 `d ≤ 15`
3. **轻微差异(可感知)**:`15 < d ≤ 30`
4. **明显不同**:`d > 30`
我感觉 欧式距离 差异20左右,就可以判断定位块颜色相同。
面积误差:10%
距离误差:10%
角度误差:15%
这3个建议用全局变量来调节,如果是不同场景下,比如角度/面积,相同的误差率不合适,应该采用多个全局变量来分别定义。
六、试纸规格确认
Q12:需要支持的试纸规格
文档列出14联、11联、10联、8联,但代码中还有6联、4联
是否所有规格都需要支持?还是只支持特定几种?
A12:我在ImgLocateDryChemistry::initPaperConfig定义了几种规格。你可以去掉一些支持的范围,只支持14,11,8联,其他的定义保留,但是代码可以不实现。14,11,8联支持两个大定位块。使所以,你会定义6种类是PaperConfig的数据数组。
Q13:每种规格的PaperConfig参数
文档只给出了PST_14_S的参数示例
其他规格(11联、10联、8联等)的参数是否需要我根据试纸尺寸公式计算?
A13: 见A12,你写的代码,支持14,11,8联,包括两个大定位块。其实就是6种规格的试纸。如果算上定位块颜色R,G,B,就是18种试纸了。
---
### 一、图片输入相关
**Q14:图片格式和来源**
- 测试图片有 PNG 和 JPG 格式,是否需要支持其他格式(如 NV21/YUV 原始数据)?
- 现有 `SayHello` 函数接收的是 NV21 格式的摄像头数据,测试程序是否也需要支持 NV21?还是只用 PNG/JPG 测试?
A14: 不需要支持其他图片格式。图片只是给你测试用的。你写的代码本身是让SayHello来调用的。我也没有NV21格式的测试数据给你。
**Q15:ROI 区域**
- 测试图片已经是裁剪过的试纸区域,但实际摄像头拍摄可能是大图
- 新代码是否需要支持从大图中自动搜索试纸位置?还是假设输入已经是裁剪好的 ROI?
A15: 你说的完全正确。是裁剪了的。
11green_1.png,11green_2.png,14blue_1.png,14blue_2.png,14red_1.png,14red_2.png 这几个文件,则跟实际传递的图片大小差不多。
这些裁剪的图片从哪里来的?是savePaperImg这个函数产生的,裁剪了整个试纸的最小外包矩形。
### 二、试纸识别边界情况
**Q16:白色反应色块的处理**
- 您提到"反应色块可能什么颜色也没有,白色"
- 白平衡处理应该在读取颜色**之前**做,那白平衡处理后的白色色块,其RGB值如何解释?
A16:我讲什么颜色也没有,可能说法不准确,比如某个检测项目阴性,颜色很浅,通过findContours查找轮廓可能就找不到这个反应色块的轮廓了。但是,在计算颜色的时候,在这个很浅的色块上也是要读取的。
**最核心的一句话,差点忘记说: 计算每个化学反应色块的位置,这件事本身本化学反应色块本身的位置无关;化学反应色块的位置是通过两个定位块的位置,计算出来的。有可能会跟实际的中心点位置有偏差**
**Q17:定位块的亮度变化**
- 摄像头采集的图片,定位块颜色可能因为光照变化而有明暗差异
- 用 RGB 分量比例判断颜色时,是否需要考虑亮度归一化?例如:
- 深红 vs 浅红 → 都是红色
- 如何设定比例阈值?
A17: 光线有影响,因此有可能某个图片找不到定位块,比如反光了图片就白了
总体上,深红,浅红,都是红色,其RGB的R分量应该是大于G,B分量的,你可以从我的代码中看到这一点。但是我的代码没有判断欧式距离,你可以加上欧式距离,好处是:如果一个定位块是“深红色”,获得的另外一个定位块颜色是“浅红色”,这个时候欧式距离可能就超过20(我假设的阈值),我们就可以认为,这两个定位块也不符合要求。
### 三、输出和测试
**Q18:颜色输出格式确认**
- `strBuffer` 格式:`{"id":0,"value":"h,s,v,l,a,b"}`
- HSV 和 LAB 的数值精度是多少?整数还是浮点数?保留几位小数?
A18: 保留2位小数点。
**Q19:还原图片的格式**
- 测试输出要求"还原生成一个新图片",这个图片应该是什么格式?
- PNG?JPG?分辨率是多少?
A19:jpg,分辨率可以非常小,供我参考使用,我可以直观看看你读取的颜色对不对。
我给个14项红色尿检试纸,大小给你参考:
假设你生成的试纸高度50像素;
试纸小定位块在左,小定位块宽度30像素,高度50像素,定位块颜色(255,0,0);
每个反应色块的大小,宽高都是50像素;
大定位块宽度100像素;
小定位块,14个检测项目色块,大定位块这16个元素之间的空白间隔是20像素。
这么一个试纸,你生成200像素高,1000像素宽就足够了,试纸居中显示就好!!!
---
如果以上问题都清楚了,我就可以开始编写:
1. **沟通日志** - 记录我们的所有讨论
2. **技术方案文档** - 包含架构设计、实现步骤、测试计划等
---
我检查了你的输出结果,这两个文件:11green_1_annotated,14red_1_annotated,
1、定位块的位置,找对了。
2、反应色块位置,找错了。 我目测看,你在大定位块里面,也打了化学反应色块的小圆圈。你在计算距离和连线计算的时候,起点在小定位块矩形靠里的那条边的中心点(靠化学反应块的那条边),终点在大定位块矩形靠里面那条边中心点(靠近化学反应色块)。基于起点和终点,按照我或者你定义的方法,找到所有的色块中心点。
如果你计算方式从大定位块到小定位块,原理也是一样的。
---
14red_1_annotated这个文件的中心点,标准的很正确。
11green_1_annotated从小定位块开始的第三个点,就有点偏离中心了。其他点,都偏离了中心点! 研究一下,可能什么原因?
---
定位块的颜色判断,是不是不一定使用HSV的H分量来判断?
**如果你使用的HSV效果判断不错,也是可以的**
为什么不用R, G,B分量的比例来判断?你的理由是什么?我之前的代码是使用,R,G,B分量判断试纸类型的。参考ImgLocateDryChemistry::analyseLocatorColor ,ImgLocateDryChemistry::readLocatorColor
1. 试纸的定位块的面积比你需要考虑,同时定位块的宽高比,你也需要考虑。这样才符合试纸的定义,减少误判。
2. 试纸是可以任意角度摆放,不能假设是水平放置的。
3. 试纸,顶部和底部都是平行的,也是判断试纸合规的限制条件之一。
4. 面积阀值,和颜色阀值,你都可以微调,提高识别率。
还有几个小问题,你可以参考一下,看看还有没有增强的地方,因为是手机app,需要提高效率,减少运算量,减少每一帧图片的处理时间:
1、你在找轮廓的时候,应该抛弃特别小的轮廓,比如小于面积100的,形状不对的。。
2、**在搜索定位块的时候,你一开始就可以刻意抛弃正方形的轮廓(我的产品设计里, 定位块永远不会做成正方形的)**,这样留下来的,更有可能是定位块的轮廓。
3、经过各种过滤以后,最后,你需要把所有轮廓,如按照X,Y位置顺序,或某个其他策略将轮廓列表排序,取第一个和最后一个轮廓,抛弃其他所有的轮廓,判断选中的两个轮廓是不是定位块。
你要知道,所有的反应色块,都在定位块中间,反应色块是不参与定位的。
4、你要深入理解我的老代码ImgLocateDryChemistry, 虽然老代码里的逻辑不一定全部对,但是需要采纳其中的正确内容。
---
## 多条试纸的处理逻辑:
让我解释一下当前 ganrao6 多条试纸的处理逻辑:
让我查看 ganrao6 的实际测试结果:
实际上,根据当前代码和最新测试结果,**ganrao6 返回的是识别失败**(错误码6:检测到多条试纸)。
目录中的 `ganrao6_annotated.jpg` 是之前遗留的文件。
**多条试纸识别原理说明:**
```
┌─────────────────────────────────────────────────────────────┐
│ 图像中的两条试纸 │
│ ┌─────────────────────────────────────────────────────┐ │
│ │ 上面试纸: [小定位块] [色块...] [大定位块] │ │
│ │ Y坐标约: 200 │ │
│ └─────────────────────────────────────────────────────┘ │
│ │
│ ┌─────────────────────────────────────────────────────┐ │
│ │ 下面试纸: [小定位块] [色块...] [大定位块] │ │
│ │ Y坐标约: 500 │ │
│ └─────────────────────────────────────────────────────┘ │
└─────────────────────────────────────────────────────────────┘
```
**处理流程:**
1. **Y坐标聚类** ([groupCandidatesByY](entry/src/main/cpp/PaperRecognizer.cpp#L245-290))
- 将所有候选定位块按Y坐标排序
- 计算Y坐标差距阈值(平均高度的3倍)
- 差距小于阈值 → 同一组(同一试纸)
- 差距大于阈值 → 新组(不同试纸)
2. **组内配对验证** ([findValidLocatorPairInGroup](entry/src/main/cpp/PaperRecognizer.cpp#L292-360))
- 对每组尝试找有效的大-小定位块配对
- 验证:一个大定位块 + 一个小定位块
- 验证:颜色一致性
- 验证:面积比正确
- 验证:Y坐标差距(同一试纸的定位块应该Y相近)
3. **结果判定**
- 0个有效配对 → 识别失败
- **1个有效配对 → 识别成功**
- **>1个有效配对 → 返回失败(避免误判)**
---
## 尿检试纸识别完整处理流程
```
┌─────────────────────────────────────────────────────────────────────────────┐
│ 尿检试纸识别处理流程 │
└─────────────────────────────────────────────────────────────────────────────┘
输入: 原始图片 (JPG/PNG/BMP)
│
▼
┌─────────────────────────────────────────────────────────────────────────────┐
│ Step 1: 图像预处理 │
├─────────────────────────────────────────────────────────────────────────────┤
│ 1. 颜色空间转换: BGRA/BGR/Gray → BGR │
│ 2. 生成HSV图像 (用于颜色分割) │
│ 3. 生成灰度图像 (用于边缘检测) │
│ 4. 高斯滤波降噪 (5x5核) │
└─────────────────────────────────────────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────────────────────┐
│ Step 2: 定位块检测 │
├─────────────────────────────────────────────────────────────────────────────┤
│ 2.1 颜色分割 │
│ ├─ 红色: H∈[0,10]∪[160,180], S>70, V>50 │
│ ├─ 绿色: H∈[35,85], S>70, V>50 │
│ └─ 蓝色: H∈[90,150], S>50, V∈[10,120] │
│ │
│ 2.2 形态学处理 │
│ ├─ 闭运算 (9x9核): 填充孔洞 │
│ └─ 开运算 (9x9核): 去除噪点 │
│ │
│ 2.3 轮廓检测与过滤 │
│ ├─ 面积过滤: 100 < area < imageArea*0.1 │
│ ├─ 宽高比过滤: 1.5 < ratio < 5.0 (排除正方形) │
│ └─ 矩形度过滤: rectangularity > 0.7 │
│ │
│ 2.4 多试纸处理 (Y坐标聚类) │
│ ├─ 按Y坐标分组,差距 < 3倍平均高度 → 同一组 │
│ ├─ 每组尝试找有效配对 (一大一小定位块) │
│ ├─ 验证: 颜色一致 + 面积比正确 + Y坐标相近 │
│ └─ 结果: 0组→失败, 1组→成功, >1组→返回失败(避免误判) │
└─────────────────────────────────────────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────────────────────┐
│ Step 3: 定位块验证 │
├─────────────────────────────────────────────────────────────────────────────┤
│ 1. 颜色判断 (使用中心30%区域) │
│ ├─ 红色: R > G+20 且 R > B+20 │
│ ├─ 绿色: G > R+20 且 G > B+20 (或HSV判断) │
│ └─ 蓝色: B > G+15 且 B > R+15 │
│ │
│ 2. 确定大小定位块 │
│ ├─ 面积大的为"大定位块" │
│ └─ 面积小的为"小定位块" │
│ │
│ 3. 验证面积比 │
│ ├─ S型(10mm): 面积比 ∈ [2.5, 4.0] │
│ └─ L型(15mm): 面积比 ∈ [4.0, 6.0] │
└─────────────────────────────────────────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────────────────────┐
│ Step 4: 试纸规格匹配 │
├─────────────────────────────────────────────────────────────────────────────┤
│ 计算关键参数: │
│ ├─ 定位块中心距离 │
│ ├─ 试纸高度 = 大定位块短边 │
│ └─ 距离比 = 定位块中心距离 / 试纸高度 │
│ │
│ 匹配逻辑: │
│ ┌──────────────────────────────────────────────────────────────┐ │
│ │ S型(10mm大定位块, 面积比<4.0): │ │
│ │ 距离比 19.5~23.5 → PST_14_S (14联) │ │
│ │ 距离比 15.9~19.2 → PST_11_L (11联) │ │
│ │ 距离比 11.6~14.1 → PST_8_S (8联) │ │
│ ├──────────────────────────────────────────────────────────────┤ │
│ │ L型(15mm大定位块, 面积比≥4.0): │ │
│ │ 距离比 19.5~24.0 → PST_14_L (14联) │ │
│ │ 距离比 15.9~19.2 → PST_11_L (11联) │ │
│ │ 距离比 12.0~14.5 → PST_8_L (8联) │ │
│ └──────────────────────────────────────────────────────────────┘ │
│ │
│ 加载对应配置: itemsNum, firstPos, step (用于计算色块位置) │
└─────────────────────────────────────────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────────────────────┐
│ Step 5: 计算色块中心点 │
├─────────────────────────────────────────────────────────────────────────────┤
│ 1. 计算方向向量 (从小定位块指向大定位块) │
│ │
│ 2. 计算起点和终点 (使用定位块边缘中心) │
│ ├─ 起点 = 小定位块右边缘中心 │
│ └─ 终点 = 大定位块左边缘中心 │
│ │
│ 3. 计算每个色块中心点 │
│ center[i] = 起点 + (firstPos + i * step) * 单位向量 │
│ │
│ 输出: 14/11/8 个色块中心坐标 │
└─────────────────────────────────────────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────────────────────┐
│ Step 6: 读取颜色 & 输出结果 │
├─────────────────────────────────────────────────────────────────────────────┤
│ ColorReader读取每个色块的: │
│ ├─ HSV值 (色相、饱和度、明度) │
│ ├─ LAB值 (亮度、红绿、黄蓝) │
│ └─ RGB值 │
│ │
│ 输出文件: │
│ ├─ *_annotated.jpg (标注定位块和色块位置的图片) │
│ ├─ *_colors.txt (颜色数据文本) │
│ └─ *_restored.jpg (还原试纸颜色条带图, 1250x200像素) │
└─────────────────────────────────────────────────────────────────────────────┘
│
▼
输出: RecognitionResult
├─ success: true/false
├─ errorCode: 0=成功, 1=无轮廓, 2=配对失败, 4=规格不匹配, 6=多试纸
├─ paperType: PST_14_S / PST_14_L / PST_11_L / PST_8_S / PST_8_L
├─ locatorColor: RED / GREEN / BLUE
├─ itemCount: 14 / 11 / 8
└─ colorBlockCenters: 色块中心坐标列表
```
**支持的试纸规格 (6种):**
| 类型 | 联数 | 大定位块尺寸 | 面积比范围 | 距离比范围 |
|------|------|-------------|-----------|-----------|
| PST_14_S | 14联 | 10mm | 2.5~4.0 | 19.5~23.5 |
| PST_14_L | 14联 | 15mm | 4.0~6.0 | 19.5~24.0 |
| PST_11_S | 11联 | 10mm | 2.5~4.0 | (保留) |
| PST_11_L | 11联 | 15mm | 4.0~6.0 | 15.9~19.2 |
| PST_8_S | 8联 | 10mm | 2.5~4.0 | 11.6~14.1 |
| PST_8_L | 8联 | 15mm | 4.0~6.0 | 12.0~14.5 |
---
## 我们开始做NAPI的集成工作,主要是修改一下两个文件:
E:\Qoder\urologist\entry\src\main\cpp:
napi_init.cpp
CMakeLists.txt
1. napi_init.cpp,你直接改就好,napi_init.cpp 已经复制了一份napi_init_old.cpp了;
这个文件里,主要改造getPaperData,和sayHello。这两个函数的输入和输出,严格保留原有的输入和输出参数,保证上下层的兼容。getPaperData,和sayHello里面的opencv实现代码,改成跟你的新代码进行对接,退换。
这个文件中的老的ImageLocation imgLoc这个实例相关的代码,在你修改完成代码后,移除掉。
2. CMakeLists.txt里面原来的文件,除了napi_init.cpp外,老的cpp文件去掉,把你写的新文件加进去。
你先理解一下我的需求,再对照现有的新的老的cpp代码,你看看有没有问题,有问题就问我
---
好的,我理解你的需求。让我先仔细分析现有代码,然后给你确认一下我的理解:
**需求理解:**
1. **napi_init.cpp**:
- 保留 `getPaperData` 和 `sayHello` 的函数签名(输入输出参数不变)
- 内部实现从老代码(`ImageLocation imgLoc`)切换到新代码(`PaperRecognizer`)
- 修改完成后移除 `ImageLocation imgLoc` 实例
2. **CMakeLists.txt**:
- 移除老的 cpp 文件
- 添加新的 cpp 文件
**关键问题确认:**
让我看一下现有 `sayHello` 和 `getPaperData` 的具体实现,确认输入输出:
现在让我看一下新代码中 `RecognitionResult` 结构,确认返回值:
**问题确认:**
我注意到新老代码有一些差异,需要和你确认:
| 对比项 | 老代码 (ImageLocation) | 新代码 (PaperRecognizer) |
|--------|------------------------|--------------------------|
| **颜色输出格式** | HSV+LAB (6个值) | HSV+LAB+RGB (9个值) |
| **颜色读取方式** | 在 NAPI 层手动读取 | 在 ColorReader 中读取 |
| **statusCode** | 使用 `scalar.val[3]` | 使用 `result.errorCode` |
**关键问题:**
1. **颜色输出格式**:老代码输出 `HSV(3) + LAB(3) = 6个值`,新代码输出 `HSV(3) + LAB(3) + RGB(3) = 9个值`。是否需要保持兼容(只输出6个值)?
A: 只输出, HSV(3) + LAB(3)
2. **颜色读取位置**:老代码在 `sayHello` 里手动读取每个色块的颜色;新代码 `PaperRecognizer` 只返回色块中心点,颜色需要另外调用 `ColorReader`。我是否需要在 NAPI 层集成 `ColorReader` 来读取颜色?
A: 可以。有不满足的地方,你微调代码就行。 目的是,基于每个色块的中心点,围绕中心点取若干像素的均值(这个地方,我之前是说取固定25像素。你曾经说过,自适应的方案)。这里还要主要一点,取值之前的试纸就是白平衡。
3. **statusCode**:老代码用 `scalar.val[3]`(0=成功,非0=失败),新代码用 `result.success` 和 `result.errorCode`。是否需要映射?
A: 关于响应的问题,我们可以讨论一下。成功的响应始终为0,这个没有问题。如果你的`result.errorCode`能够比较好的反馈出失败原因。你可以定义一个全局变量列表I错误D,及加上中文注释。我略微修改一下上层的app的提示,在app上也定义相同的ID。这样app的错误提示,就和你的提示对应上了。
4. **白平衡**:新代码支持白平衡,NAPI 是否需要暴露白平衡开关参数?
A: 你先默认支持白平衡,在第二个问题 我已经回复了。
你还有其他问题吗?
---
我通过App扫描尿检试纸,集成测试发现2个问题:
1、识别率比较低,成功的图片帧不多;
2、我现在扫描的是14联的尿检试纸,但是比较容易被识别成11联的尿检试纸。
而你现在使用的日志输出,都是基于标准的C++日志输出,std::cout,这个输出方式,看起来不能在DevEco Studio控制台打印出日志!?
要么我使用方式不对,要么就是DevEco Studio不支持不允许?
你研究一下,添加鸿蒙 的 日志输出:
1. 在你的代码的主流程的任何识别失败返回地方,添加日志,打印相关参数和原因;
2. 成功识别14项,11项试纸的地方,打印关键参数,如识别出的当前图片的定位块之间的长度,倍数等等 (打印你认为能判断问题的任何信息)**
**打印什么信息,你决定!!! 我测试之后,把日志从DevEco Studio控制台复制给你分析问题。**
// #include "hilog/log.h"
以上内容,你理解我的诉求吗?
---
我在 E:\Qoder\urologist\entry\src\main\cpp\logs 放了1.txt, 2.txt, 3.txt, 4.txt,及err1.png ,err2.png几个文件。
1. txt是日志输出结果,你分析一下,能不能分析一些异常
2. **err1.png, err2.png** 这俩个文件,是我的新发现的异常情况!!! 你在图上,打了14个圆圈,但是位置好像不对! **我不确定你取中心点,获取颜色的地方,是不是也这样** 。。。。这个错误情况,发生在大定位块在左边,小定位块在右边。。。。;如果小定位块在左边,大定位块在右边,画圈的位置就不出错。
---
1. 我微调了11L的distTimes,这是两个定位块中心点的距离倍数,你写成11S一样的了,两种是有差异的。
// PST_11_L: 11联, 15mm大定位块
config11l.distTimes = 18.1; // 17.6 -->18.1
2.我微调了定位块的面积比,让10毫米的比例最高还是4,但是15毫米的比例最低设置成4.2,减少10毫米,被识别成15毫米的可能性
// 面积比范围定义(参照老代码)
double Min_AreaRadio_S = 2.6;
double Max_AreaRadio_S = 4;
double Min_AreaRadio_L = 4.2;
double Max_AreaRadio_L = 6.0;
你觉得这样是否合理???
---
每一张成功被识别的图片的最终试纸类型,是由LocatorColor 和 PaperSpatialType共同决定的。所以,需要在napi_init的SeyHello函数里面返回给上层。你的代码有保存这2个参数吗?
请在napi_init的405行之上添加返回值(// parameter 7: status code 这个参数的前面)
---