Files
Obsidian/MyWorks/鸿蒙算法改造.md
T
coco 8b94d76799 a
2026-07-21 13:57:15 +08:00

47 KiB
Raw Blame History

CPP模块介绍

这个opencv图像处理模块,路径在E:\Qoder\urologist\entry\src\main\cpp 实现的功能包括:

  1. 对尿检试纸进行定位;
  2. 获取每个尿检化学反应色块的颜色值。 通过N-API接口实现ArkTS/TS/JS与C/C++之间的交互。 这个函数是调用的主入口函数:napi_value SayHello(napi_env env, napi_callback_info info)  

试纸定义

试纸描述

  • 干化学试纸的规格。试纸高度5毫米。通过拍照出来的图片存在变形可能性,不一定是5毫米。本文以下的试纸宽度和高度描述,都是基于设计和生成的高度,程序中计算相应的数据时,需要注意这一点。算法实现上肯定不是基于这种厘米毫米单位来计算距离的,而是通过本文描述的这种长宽比率之类算相对值。
  • 产品支持多个规格的试纸,包括14联,11联,10联,8联多种试纸

    参考BlockItems结构。

  • 试纸设计了两个定位块,一大一小。检测项和定位块的高度都是一样的,并且都是顶部对齐的,在一条线上的。两个定位块处在两边,检测项夹在中间。小定位块的宽度始终是3毫米。大定位的宽度可能是10毫米,或者15毫米。

参考BigLocatorType结构。

  • 结果试纸的联数,和大定位块的长度,则可以定义出不同规格的试纸类型

参考PaperSpatialType, 其中 PST_14_S 表示 14联且是10毫米的大定位块, PST_14_L表示 14联且是15毫米的大定位块

  • 定位块的颜色有3种,即后文配置文件中的color,分别对应red(1),green(2),blue(3) 。每条试纸上的两端的定位块颜色,一定是相同的。通过算法找出来的定位块颜色,一定是接近的,如果相差太远,就一定是找错定位块了。

参考LocatorColorClassification结构。

  • 试纸的每个检测项目是一个色块,色块是5毫米 X 5毫米的正方形。色块中的化学物质同尿液成分发生化学反应,呈现不同颜色值。
  • 大定位块,检测项色块,小定位块,它们之间的空白间隔是2毫米。例如,假设8联试纸的大定位块宽带10毫米。那么这个试纸的总长度是这么计算出来的,3(小定位块宽) + 10(大定位块宽) + 5 * 8(检测项总宽) + 9 * 2 (8个色块,对应着9个间隔) = 71毫米。
  • 用户在使用试纸的时候,摆放顺序可能比较随意,可能平放也可能不是完全平放。可能是小定位块放左边,也肯能放右边。
  • 从小定位块和大定位块的中心点,画一条直线,那么理论上肯定是穿过所有检测项目的中心点。在找到每个检测项中心点后,基于每个中心点,以中心点为中心,做5X5的矩形,取这个矩形25个像素的颜色值的均值,作为每个检测项目的色块颜色。取出的颜色值如果是RGB,需要通过opencv的颜色转换函数得到HSV和LAB颜色。

试纸的样例

E:\Qoder\urologist\entry\src\main\cpp\images目录下的,red_paper.jpg和blue_paper.jpg是设计图,其他的jpg文件是摄像头采集的图片,如65686153160b075c3d7eb019f9eecdb4.jpg

模块改造需求

原有代码的主要定义,需要继续保留的定义(可以重新命名):

  1. BlockItems 试纸的联数,14项,11,9,7
  2. BigLocatorType 大定位块的类型,1 ( 15毫米),0 (10毫米)
  3. LocatorColorClassification 定位块的颜色,同一个试纸,大小定位块颜色始终一致
  4. PaperSpatialType 试纸类型规格,PST_14_S表示:14项,小定位块; PST_11_L表示:11项,大定位块
  5. PaperConfig 每一个具体规格的试纸,具体的参数值, 这个试纸规格的结构,可以完全重新定义,需要什么参数就定义什么参数:     PaperConfig* pc = new PaperConfig();     pc->itemsNum = 14; //BI_14 14项试纸     pc->paperSpatialType = PST_14_S; //14项,小定位块     pc->slicesNum = 50; //2毫米为单位的最小分割单位数量,两个定位块靠近反应色块的边缘之间的距离 除以 2毫米单位,得到这个值。之前通过这个值,获得每个化学反应色块的中心点位置     pc->firstPos = 2.25; //这个值乘以2毫米,得到靠近定位块的第一个化学反应色块的中心点位置     pc->step = 3.5; // 这个值乘以2毫米,得到相邻两个化学反应色块之间的距离     pc->distTimes = 21.3; //两个定位块中心点的距离 除以 试纸高度     pc->whRRatio = 2;//大定位块(假设大定位块在右边,右边定位块)的长(宽) 高 比例,10毫米宽 除以 5毫米的试纸高。     pc->whLRatio = 0.6; //小大定位块(假设大定位块在左边,左边定位块)的长(宽) 高 比例,3毫米宽 除以 5毫米高     mapPaperConfig.insert(std::make_pair(PST_14_S, pc));

代码修改范围限于:E:\Qoder\urologist\entry\src\main\cpp,其他目录的代码不要做任何修改

基于Opencv开源库,使用C++代码实现现有的业务逻辑,需要实现的逻辑包括(但不限于):

  1. 从上层NAPI接收图片
  2. 试纸定位:根据试纸定位块的特点(前文有说明),找到定位块,从PaperConfig列表里找到符合条件的试纸规格; 试纸定位块的颜色不是绝对相等的,红,绿,蓝都是相对范围; 同一个试纸的的两个定位块颜色一定是一样的,颜色即使生产和扫描出现颜色色差也是不大的; 从摄像头出来的图片会存在变形的,因此无论是反应色块,定位块,定位块之间的距离,都会存在一定的误差,所以计算任何一个试纸相关的空间值的时候,都需要有一个误差范围,可以定义一些全局的误差范围,方便随时微调 试纸摆放是随意的,不一定是水平的,有可能大定位块在左边,也可能大定位块在右边,甚至存在垂直或者一定的角度 前文中讲的 所有毫米单位,都是试纸生成的实际尺寸, 在图像处理和计算的时候,这些生产的试纸尺寸都是作为一个计算比例,需要根据试纸图片的实际像素进行相应的比例计算的。
  3. 获得反应色块的中心点位置列表 根据找到的反应色块,进一步根据找到的PaperConfig规格,获得每一个化学反应色块的中心点 为了给用户实际扫描尿检的操作过程中,提供视觉的参考,对于成功定位的试纸,需要围绕每个反应色块的中心点,画一个红色圆圈(半径5像素),绘制在原图上,原图会返回给上层的NAPI,显示到用户的手机屏幕上。
  4. 读取每个化学反应色块的颜色值 因为前面步骤会在原图上画定位的圆圈。因此基于画了圈之后的原图读取中心点的颜色,可能收到颜色干扰。 因此,应该在画圈之前,复制一个原图的Mat。基于复制的Mat进行读取颜色的操作。 从摄像头采集的图片,存在环境光的干扰,读取颜色之前,需要做白平衡处理。 读取的颜色值,填写给上层调用者的,始终是靠近小定位块的排第一个,无论小定位块在左边还是右边等等。 从白平衡处理后的图片中读取围绕中心点的25个像素的均值颜色值HSV和LAB

NAPI的入口函数SayHello介绍

核心的上下层的交互函数就是SayHello,这个函数位于napi_init.cpp中: 调用图片定位算法 读取每个化学反应色块的颜色值 填写返回给上层的返回值

具体编码要求

只改造E:\Qoder\urologist\entry\src\main\cpp目录下的CPP代码逻辑

重新写基于opencv库的C++业务代码,创建新文件,不要基于老的C++代码进行修改(除了napi_init.cpp外)。

napi_init.cpp可以修改,但建议只重写SayHello函数,将老的SayHello注释掉。给SayHello的返回值必须保持一致,这样上层的调用者就不需要调整代码。

测试要求

写完代码之后,需要测试,编写测试的C++代码文件,测试试纸定位和获取颜色值。

我的Opencv的windows官方库,安装在D:\opencv这个目录,测试代码需要链接opencv的头文件和静态库和动态库,可以到这个目录找到。 E:\Qoder\urologist\entry\src\main\cpp\images 目录下有多个测试图片: 11green_1.png 11green_2.png 14blue_1.png 14blue_2.png 14red_1.png 14red_2.png 144a8eec813190f8aebd65fde1cfb37a.jpg 41bc77e5411c53d30aad2a234c41cc21.jpg 42a87ab3574693a24284169b1a34d4f6.jpg 486c492d8e557d7165e7f1ee7d1c46fc.jpg 65686153160b075c3d7eb019f9eecdb4.jpg 8372934490298af55253e4fa6fd0d400.jpg 89d1025813cf81ccc53706c1dca5ff72.jpg a2d3bb35cc0f69ccd6a1e400dc197b5d.jpg be3af2fa7372464a98172a91fa52adb8.jpg c841c6a39cdde0a8a98a32693cf40142.jpg 以下两个图片,是设计图(如果你能读取,则读取看看,了解一下): red_paper.jpg blue_paper.jpg

测试输出

建议在E:\Qoder\urologist\entry\src\main\cpp 建一个测试目录,存放测试结果。 测试结果输出需要涵盖: 1、图片是否识别成功 2、成功的图片需要在图片的定位块和反应色块中心位置画红色圈,方便我检查效果 3、成功定位的图片,颜色值HSV,LAB,RGB,建议每个图片存储一个文本文件 4、成功定位识别的图片,根据读取的颜色值,还原生成一个新图片(模拟试纸的形状, 定位块,反应色块。 反应色块的颜色就用读取的颜色)

最终的输出

这一步先不做,等一切测试结束,没有问题了。我再来说,下达指令。 这一步,主要是: 修改CMakeLists,将新编写的C++代码放进去 编译hap测试


我需要重新构建我的opencv尿检识别库。我在 E:\Qoder\urologist目录,放了一个需求文件鸿蒙算法改造.md,请仔细研读: 1、找出我的需求漏洞,给我提问题,直到我们双方达成一致意见。将我们的沟通意见,写在一个沟通日志里。 2、如果需求没有问题,构建你的Plan,技术路线,技术架构,实现方法,实现步骤,测试计划等等。这些内容,都应该写入文档。 3、做完上述事项,告诉我。我让你逐步实现这个项目。


做所有的事情之前,请阅读原有的CPP代码(E:\Qoder\urologist\entry\src\main\cpp)了解现有代码逻辑,现有代码逻辑也许有细微的不合理之处,但是可以作为新代码的参考 如有必要,可以识别一下试纸,了解一下试纸的特征, 如试纸:11green_1,14red_1

如果还有问题,继续问我

一、试纸定位算法相关 Q1:定位块的识别特征 文档提到定位块有颜色(红/绿/蓝),但具体颜色范围(HSV边界值)是什么? 定位块的形状特征是什么?矩形?是否有最小/最大面积限制? 如何区分"找到的矩形"是定位块还是反应色块? A1: 定位块颜色,建议使用R,G,B的分量比例 来判 试纸定位块颜色。因为支持的试纸中,绿色可能就有几种绿色,采用单一固定值可能有问题,同时计算HSV边界值可能在快速找到的opencv轮廓,会降低效率。 定位块有两种,每个试纸有两个定位块,处于试纸两端。试纸高度始终是5毫米。小定位块宽度3毫米,高5毫米。大定位块有两种,高度都是5毫米,宽度一个是10毫米,一个是15毫米。 根据我对定位块的描述看,定位块肯定是矩形的,而反应色块是正方形的。有必要说一句,反应色块可能什么颜色也没有,白色。通过opencv的轮廓查找函数,是找不到这些白色的反应色块的 两个定位块在试纸的两端,中间的部分是试纸反应色块的位置。我在试纸定义有描述。

Q2:定位失败的处理 如果找不到两个定位块,返回什么错误码? 如果找到多个候选定位块,如何选择正确的? A2: 定位试纸的一个要诀,反应色块和定位块是一条线的,对齐的。(我在原有代码中用了一个fitLine函数,将所有的这些找到的轮廓做一个线性拟合,判断反应色块和定位块是否在一条线上。。。我的方法是不准确,不太对的)。 找不到两个定位块,返回错误,参考现有的SayHello代码。 一张图片上,找到多于2个定位块,直接返回错误,不做进一步的处理,参考现有的SayHello代码。

Q3:试纸角度处理 文档说"可能存在垂直或者一定的角度",最大倾斜角度是多少度? 是否需要做图像旋转校正?还是只需要计算斜率来定位色块中心点? A3: 不要限制倾斜角度,根据opencv查找轮廓,根据轮廓特征,进一步定位到试纸就好。 不要对图片进行旋转处理,根据几何和数学公司,结合计算出来的斜率来定位试纸和中心点等等

二、PaperConfig 参数相关 Q4:slicesNum 计算方式 文档说"slicesNum = 两个定位块靠近反应色块的边缘之间的距离 / 2毫米" 但实际像素中,这个"2毫米"如何转换?是否应该用"定位块高度"作为基准单位? A4: 这是一个比例问题,我给的2毫米,这些单位都是生产单位。你需要根据这种生产单位转换成一个比例值。假如某种试纸,10毫米 X 5毫米的定位块,通过查找图片得到这个定位块,这个定位块的长宽可能是100像素 X 50像素。这个时候,抛开这个像素,和毫米的单位,你发现了没有数值放大了10倍,那么你按照PaperConfig里面的这些值来计算具体的像素,就是乘10的关系了。

我不知道我讲清楚了没有,没有的话,这一点,你继续提问。

Q5:firstPos 和 step 的单位 这两个值是"以2毫米为单位"还是"以最小分割单位为单位"? 例如 firstPos = 2.25,是说第一个色块中心点距离定位块边缘 2.25×2毫米 = 4.5毫米? A5:是的。我们用毫米计算看哈,定位块边缘到第一个反应色块距离2毫米,反应色块的宽高是5毫米,则中心点到边缘上2.5毫米, (2 + 2.5)/ 2 = 2.25 ,除数2是最小分割单位为单位。 本质上,firstPos 和 step 这两个值,是一个倍数。 "以2毫米为单位"还是"以最小分割单位为单位" 这个是基于生产试纸的实际尺寸的。 而你的计算是基于像素的。

三、颜色读取相关 Q6:白平衡算法 现有代码有 Whitebalance 和 WhitebalancePR 两个函数,使用哪个? 白平衡参考点如何选取?是从定位块?还是从特定区域? A6: 我放了一个目录reference进来,里面存放了你之前帮我写的另外一个项目的代码,也是关于尿检试纸的。你可以借鉴和阅读。包含了试纸定位和颜色纠偏(白平衡)的算法。具体哪个更好,需要实际测试。我感觉你之前帮我写的目录reference下面的颜色纠偏效果可以。 白平衡基于整个图片进行。

Q7:颜色返回顺序 "靠近小定位块的排第一个"——如果小定位块在右边,是否从右往左编号? 返回的颜色顺序是否需要根据试纸摆放方向反转? A7: 颜色选取顺序始终是从靠近小定位块的化学反应色块开始的。无论试纸怎么摆放。

Q8:采样区域大小 文档说"5X5的矩形,取25个像素",但实际图片中5毫米对应多少像素? 是否需要根据检测到的试纸高度动态计算采样半径? A8: 我提的方案是基于中心点,取25个像素,是减少计算量的方式。你可以尝试使用动态计算半径的方式。最少取25个像素的均值。

四、返回值格式相关 Q9:SayHello 返回值确认 现有返回值包含 buffer、width、height、statusCode、strBuffer 等 新实现是否完全保持一致? strBuffer 中的颜色值格式是否保持 {"id":0,"value":"h,s,v,l,a,b"} 这种JSON格式? A9:完全一致,因为我不想改造上层代码。strBuffer格式也是如此。 甚至测试的时候,你应该把这些结果也存储下来,我可以比较对不对。

五、测试相关 Q10:测试代码运行环境 Windows下独立测试程序,还是需要集成到鸿蒙项目测试? 测试程序是否需要支持命令行参数指定图片路径? A10: 你写独立的windows命令行程序,你自己运行测试程序。同时,告诉我怎么运行你写的测试程序。

Q11:误差范围参数 文档提到"需要定义一些全局的误差范围",具体有哪些误差参数? 例如:颜色误差、面积误差、距离误差、角度误差等 A11: 你说的误差参数,都存在。你也可以从我的老代码里,看到一些写死的值,这些值大多数是我测试时候使用的经验性误差值。误差值如果太小会让识别成功率较低,误差值太大会让误判率增加。 颜色误差:定位块R,G,B前面讲了,主要采用定位块轮廓里的R,G,B分量大小判断,附加上 大小定位块颜色是否接近: 两个 RGB 颜色 Color1(R1,G1,B1) 和 Color2(R2,G2,B2) 的欧式距离d=(R1−R2)2+(G1−G2)2+(B1−B2)2​。 关键阈值(行业通用标准),RGB 每个通道取值范围:0~255,

  1. 完全相同:距离 d = 0
  2. 人眼几乎无法区分(接近):距离 d ≤ 15
  3. 轻微差异(可感知):15 < d ≤ 30
  4. 明显不同:d > 30 我感觉 欧式距离 差异20左右,就可以判断定位块颜色相同。

面积误差:10% 距离误差:10% 角度误差:15% 这3个建议用全局变量来调节,如果是不同场景下,比如角度/面积,相同的误差率不合适,应该采用多个全局变量来分别定义。

六、试纸规格确认 Q12:需要支持的试纸规格 文档列出14联、11联、10联、8联,但代码中还有6联、4联 是否所有规格都需要支持?还是只支持特定几种? A12:我在ImgLocateDryChemistry::initPaperConfig定义了几种规格。你可以去掉一些支持的范围,只支持14,11,8联,其他的定义保留,但是代码可以不实现。14,11,8联支持两个大定位块。使所以,你会定义6种类是PaperConfig的数据数组。

Q13:每种规格的PaperConfig参数 文档只给出了PST_14_S的参数示例 其他规格(11联、10联、8联等)的参数是否需要我根据试纸尺寸公式计算? A13: 见A12,你写的代码,支持14,11,8联,包括两个大定位块。其实就是6种规格的试纸。如果算上定位块颜色R,G,B,就是18种试纸了。


一、图片输入相关

Q14:图片格式和来源

  • 测试图片有 PNG 和 JPG 格式,是否需要支持其他格式(如 NV21/YUV 原始数据)?
  • 现有 SayHello 函数接收的是 NV21 格式的摄像头数据,测试程序是否也需要支持 NV21?还是只用 PNG/JPG 测试? A14: 不需要支持其他图片格式。图片只是给你测试用的。你写的代码本身是让SayHello来调用的。我也没有NV21格式的测试数据给你。

Q15:ROI 区域

  • 测试图片已经是裁剪过的试纸区域,但实际摄像头拍摄可能是大图
  • 新代码是否需要支持从大图中自动搜索试纸位置?还是假设输入已经是裁剪好的 ROI? A15: 你说的完全正确。是裁剪了的。 11green_1.png,11green_2.png,14blue_1.png,14blue_2.png,14red_1.png,14red_2.png 这几个文件,则跟实际传递的图片大小差不多。 这些裁剪的图片从哪里来的?是savePaperImg这个函数产生的,裁剪了整个试纸的最小外包矩形。

二、试纸识别边界情况

Q16:白色反应色块的处理

  • 您提到"反应色块可能什么颜色也没有,白色"
  • 白平衡处理应该在读取颜色之前做,那白平衡处理后的白色色块,其RGB值如何解释? A16:我讲什么颜色也没有,可能说法不准确,比如某个检测项目阴性,颜色很浅,通过findContours查找轮廓可能就找不到这个反应色块的轮廓了。但是,在计算颜色的时候,在这个很浅的色块上也是要读取的。 最核心的一句话,差点忘记说: 计算每个化学反应色块的位置,这件事本身本化学反应色块本身的位置无关;化学反应色块的位置是通过两个定位块的位置,计算出来的。有可能会跟实际的中心点位置有偏差

Q17:定位块的亮度变化

  • 摄像头采集的图片,定位块颜色可能因为光照变化而有明暗差异
  • 用 RGB 分量比例判断颜色时,是否需要考虑亮度归一化?例如:
    • 深红 vs 浅红 → 都是红色
    • 如何设定比例阈值? A17: 光线有影响,因此有可能某个图片找不到定位块,比如反光了图片就白了 总体上,深红,浅红,都是红色,其RGB的R分量应该是大于G,B分量的,你可以从我的代码中看到这一点。但是我的代码没有判断欧式距离,你可以加上欧式距离,好处是:如果一个定位块是“深红色”,获得的另外一个定位块颜色是“浅红色”,这个时候欧式距离可能就超过20(我假设的阈值),我们就可以认为,这两个定位块也不符合要求。

三、输出和测试

Q18:颜色输出格式确认

  • strBuffer 格式:{"id":0,"value":"h,s,v,l,a,b"}
  • HSV 和 LAB 的数值精度是多少?整数还是浮点数?保留几位小数? A18: 保留2位小数点。

Q19:还原图片的格式

  • 测试输出要求"还原生成一个新图片",这个图片应该是什么格式?
  • PNG?JPG?分辨率是多少? A19:jpg,分辨率可以非常小,供我参考使用,我可以直观看看你读取的颜色对不对。 我给个14项红色尿检试纸,大小给你参考: 假设你生成的试纸高度50像素; 试纸小定位块在左,小定位块宽度30像素,高度50像素,定位块颜色(255,0,0); 每个反应色块的大小,宽高都是50像素; 大定位块宽度100像素; 小定位块,14个检测项目色块,大定位块这16个元素之间的空白间隔是20像素。 这么一个试纸,你生成200像素高,1000像素宽就足够了,试纸居中显示就好!!!

如果以上问题都清楚了,我就可以开始编写:

  1. 沟通日志 - 记录我们的所有讨论
  2. 技术方案文档 - 包含架构设计、实现步骤、测试计划等

我检查了你的输出结果,这两个文件:11green_1_annotated,14red_1_annotated, 1、定位块的位置,找对了。 2、反应色块位置,找错了。 我目测看,你在大定位块里面,也打了化学反应色块的小圆圈。你在计算距离和连线计算的时候,起点在小定位块矩形靠里的那条边的中心点(靠化学反应块的那条边),终点在大定位块矩形靠里面那条边中心点(靠近化学反应色块)。基于起点和终点,按照我或者你定义的方法,找到所有的色块中心点。 如果你计算方式从大定位块到小定位块,原理也是一样的。


14red_1_annotated这个文件的中心点,标准的很正确。 11green_1_annotated从小定位块开始的第三个点,就有点偏离中心了。其他点,都偏离了中心点! 研究一下,可能什么原因?


定位块的颜色判断,是不是不一定使用HSV的H分量来判断? 如果你使用的HSV效果判断不错,也是可以的 为什么不用R, G,B分量的比例来判断?你的理由是什么?我之前的代码是使用,R,G,B分量判断试纸类型的。参考ImgLocateDryChemistry::analyseLocatorColor ,ImgLocateDryChemistry::readLocatorColor

  1. 试纸的定位块的面积比你需要考虑,同时定位块的宽高比,你也需要考虑。这样才符合试纸的定义,减少误判。
  2. 试纸是可以任意角度摆放,不能假设是水平放置的。
  3. 试纸,顶部和底部都是平行的,也是判断试纸合规的限制条件之一。
  4. 面积阀值,和颜色阀值,你都可以微调,提高识别率。

还有几个小问题,你可以参考一下,看看还有没有增强的地方,因为是手机app,需要提高效率,减少运算量,减少每一帧图片的处理时间: 1、你在找轮廓的时候,应该抛弃特别小的轮廓,比如小于面积100的,形状不对的。。

2、在搜索定位块的时候,你一开始就可以刻意抛弃正方形的轮廓(我的产品设计里, 定位块永远不会做成正方形的),这样留下来的,更有可能是定位块的轮廓。

3、经过各种过滤以后,最后,你需要把所有轮廓,如按照X,Y位置顺序,或某个其他策略将轮廓列表排序,取第一个和最后一个轮廓,抛弃其他所有的轮廓,判断选中的两个轮廓是不是定位块。 你要知道,所有的反应色块,都在定位块中间,反应色块是不参与定位的。

4、你要深入理解我的老代码ImgLocateDryChemistry, 虽然老代码里的逻辑不一定全部对,但是需要采纳其中的正确内容。


多条试纸的处理逻辑:

让我解释一下当前 ganrao6 多条试纸的处理逻辑: 让我查看 ganrao6 的实际测试结果: 实际上,根据当前代码和最新测试结果,ganrao6 返回的是识别失败(错误码6:检测到多条试纸)。

目录中的 ganrao6_annotated.jpg 是之前遗留的文件。

多条试纸识别原理说明:

┌─────────────────────────────────────────────────────────────┐
│                    图像中的两条试纸                          │
│  ┌─────────────────────────────────────────────────────┐   │
│  │ 上面试纸: [小定位块] [色块...] [大定位块]              │   │
│  │ Y坐标约: 200                                         │   │
│  └─────────────────────────────────────────────────────┘   │
│                                                             │
│  ┌─────────────────────────────────────────────────────┐   │
│  │ 下面试纸: [小定位块] [色块...] [大定位块]              │   │
│  │ Y坐标约: 500                                         │   │
│  └─────────────────────────────────────────────────────┘   │
└─────────────────────────────────────────────────────────────┘

处理流程:

  1. Y坐标聚类 (groupCandidatesByY)

    • 将所有候选定位块按Y坐标排序
    • 计算Y坐标差距阈值(平均高度的3倍)
    • 差距小于阈值 → 同一组(同一试纸)
    • 差距大于阈值 → 新组(不同试纸)
  2. 组内配对验证 (findValidLocatorPairInGroup)

    • 对每组尝试找有效的大-小定位块配对
    • 验证:一个大定位块 + 一个小定位块
    • 验证:颜色一致性
    • 验证:面积比正确
    • 验证:Y坐标差距(同一试纸的定位块应该Y相近)
  3. 结果判定

    • 0个有效配对 → 识别失败
    • 1个有效配对 → 识别成功
    • >1个有效配对 → 返回失败(避免误判)

尿检试纸识别完整处理流程

┌─────────────────────────────────────────────────────────────────────────────┐
│                          尿检试纸识别处理流程                                  │
└─────────────────────────────────────────────────────────────────────────────┘

输入: 原始图片 (JPG/PNG/BMP)
      │
      ▼
┌─────────────────────────────────────────────────────────────────────────────┐
│ Step 1: 图像预处理                                      │
├─────────────────────────────────────────────────────────────────────────────┤
│  1. 颜色空间转换: BGRA/BGR/Gray → BGR                                        │
│  2. 生成HSV图像 (用于颜色分割)                                                │
│  3. 生成灰度图像 (用于边缘检测)                                                │
│  4. 高斯滤波降噪 (5x5核)                                                      │
└─────────────────────────────────────────────────────────────────────────────┘
      │
      ▼
┌─────────────────────────────────────────────────────────────────────────────┐
│ Step 2: 定位块检测                                          │
├─────────────────────────────────────────────────────────────────────────────┤
│  2.1 颜色分割                                        │
│      ├─ 红色: H∈[0,10]∪[160,180], S>70, V>50                                │
│      ├─ 绿色: H∈[35,85], S>70, V>50                                         │
│      └─ 蓝色: H∈[90,150], S>50, V∈[10,120]                                  │
│                                                                               │
│  2.2 形态学处理                                                               │
│      ├─ 闭运算 (9x9核): 填充孔洞                                              │
│      └─ 开运算 (9x9核): 去除噪点                                              │
│                                                                               │
│  2.3 轮廓检测与过滤                                                │
│      ├─ 面积过滤: 100 < area < imageArea*0.1                                 │
│      ├─ 宽高比过滤: 1.5 < ratio < 5.0 (排除正方形)                            │
│      └─ 矩形度过滤: rectangularity > 0.7                                      │
│                                                                               │
│  2.4 多试纸处理 (Y坐标聚类)                                                   │
│      ├─ 按Y坐标分组,差距 < 3倍平均高度 → 同一组                               │
│      ├─ 每组尝试找有效配对 (一大一小定位块)                                    │
│      ├─ 验证: 颜色一致 + 面积比正确 + Y坐标相近                                │
│      └─ 结果: 0组→失败, 1组→成功, >1组→返回失败(避免误判)                      │
└─────────────────────────────────────────────────────────────────────────────┘
      │
      ▼
┌─────────────────────────────────────────────────────────────────────────────┐
│ Step 3: 定位块验证                                    │
├─────────────────────────────────────────────────────────────────────────────┤
│  1. 颜色判断 (使用中心30%区域)                                                │
│     ├─ 红色: R > G+20 且 R > B+20                                            │
│     ├─ 绿色: G > R+20 且 G > B+20 (或HSV判断)                                 │
│     └─ 蓝色: B > G+15 且 B > R+15                                            │
│                                                                               │
│  2. 确定大小定位块                                                            │
│     ├─ 面积大的为"大定位块"                                                   │
│     └─ 面积小的为"小定位块"                                                   │
│                                                                               │
│  3. 验证面积比                                                                │
│     ├─ S型(10mm): 面积比 ∈ [2.5, 4.0]                                        │
│     └─ L型(15mm): 面积比 ∈ [4.0, 6.0]                                        │
└─────────────────────────────────────────────────────────────────────────────┘
      │
      ▼
┌─────────────────────────────────────────────────────────────────────────────┐
│ Step 4: 试纸规格匹配                                   │
├─────────────────────────────────────────────────────────────────────────────┤
│  计算关键参数:                                                                │
│  ├─ 定位块中心距离                                                            │
│  ├─ 试纸高度 = 大定位块短边                                                    │
│  └─ 距离比 = 定位块中心距离 / 试纸高度                                         │
│                                                                               │
│  匹配逻辑:                                                                    │
│  ┌──────────────────────────────────────────────────────────────┐           │
│  │ S型(10mm大定位块, 面积比<4.0):                                │           │
│  │   距离比 19.5~23.5 → PST_14_S (14联)                          │           │
│  │   距离比 15.9~19.2 → PST_11_L (11联)                          │           │
│  │   距离比 11.6~14.1 → PST_8_S  (8联)                           │           │
│  ├──────────────────────────────────────────────────────────────┤           │
│  │ L型(15mm大定位块, 面积比≥4.0):                                │           │
│  │   距离比 19.5~24.0 → PST_14_L (14联)                          │           │
│  │   距离比 15.9~19.2 → PST_11_L (11联)                          │           │
│  │   距离比 12.0~14.5 → PST_8_L  (8联)                           │           │
│  └──────────────────────────────────────────────────────────────┘           │
│                                                                               │
│  加载对应配置: itemsNum, firstPos, step (用于计算色块位置)                    │
└─────────────────────────────────────────────────────────────────────────────┘
      │
      ▼
┌─────────────────────────────────────────────────────────────────────────────┐
│ Step 5: 计算色块中心点                            │
├─────────────────────────────────────────────────────────────────────────────┤
│  1. 计算方向向量 (从小定位块指向大定位块)                                      │
│                                                                               │
│  2. 计算起点和终点 (使用定位块边缘中心)                                        │
│     ├─ 起点 = 小定位块右边缘中心                                               │
│     └─ 终点 = 大定位块左边缘中心                                               │
│                                                                               │
│  3. 计算每个色块中心点                                                        │
│     center[i] = 起点 + (firstPos + i * step) * 单位向量                       │
│                                                                               │
│  输出: 14/11/8 个色块中心坐标                                                 │
└─────────────────────────────────────────────────────────────────────────────┘
      │
      ▼
┌─────────────────────────────────────────────────────────────────────────────┐
│ Step 6: 读取颜色 & 输出结果                                                   │
├─────────────────────────────────────────────────────────────────────────────┤
│  ColorReader读取每个色块的:                                                   │
│  ├─ HSV值 (色相、饱和度、明度)                                                │
│  ├─ LAB值 (亮度、红绿、黄蓝)                                                  │
│  └─ RGB值                                                                    │
│                                                                               │
│  输出文件:                                                                    │
│  ├─ *_annotated.jpg  (标注定位块和色块位置的图片)                              │
│  ├─ *_colors.txt     (颜色数据文本)                                          │
│  └─ *_restored.jpg   (还原试纸颜色条带图, 1250x200像素)                       │
└─────────────────────────────────────────────────────────────────────────────┘
      │
      ▼
输出: RecognitionResult
      ├─ success: true/false
      ├─ errorCode: 0=成功, 1=无轮廓, 2=配对失败, 4=规格不匹配, 6=多试纸
      ├─ paperType: PST_14_S / PST_14_L / PST_11_L / PST_8_S / PST_8_L
      ├─ locatorColor: RED / GREEN / BLUE
      ├─ itemCount: 14 / 11 / 8
      └─ colorBlockCenters: 色块中心坐标列表

支持的试纸规格 (6种):

类型 联数 大定位块尺寸 面积比范围 距离比范围
PST_14_S 14联 10mm 2.5~4.0 19.5~23.5
PST_14_L 14联 15mm 4.0~6.0 19.5~24.0
PST_11_S 11联 10mm 2.5~4.0 (保留)
PST_11_L 11联 15mm 4.0~6.0 15.9~19.2
PST_8_S 8联 10mm 2.5~4.0 11.6~14.1
PST_8_L 8联 15mm 4.0~6.0 12.0~14.5

我们开始做NAPI的集成工作,主要是修改一下两个文件:

E:\Qoder\urologist\entry\src\main\cpp: napi_init.cpp CMakeLists.txt

  1. napi_init.cpp,你直接改就好,napi_init.cpp 已经复制了一份napi_init_old.cpp了; 这个文件里,主要改造getPaperData,和sayHello。这两个函数的输入和输出,严格保留原有的输入和输出参数,保证上下层的兼容。getPaperData,和sayHello里面的opencv实现代码,改成跟你的新代码进行对接,退换。 这个文件中的老的ImageLocation imgLoc这个实例相关的代码,在你修改完成代码后,移除掉。
  2. CMakeLists.txt里面原来的文件,除了napi_init.cpp外,老的cpp文件去掉,把你写的新文件加进去。

你先理解一下我的需求,再对照现有的新的老的cpp代码,你看看有没有问题,有问题就问我


好的,我理解你的需求。让我先仔细分析现有代码,然后给你确认一下我的理解:

需求理解:

  1. napi_init.cpp:

    • 保留 getPaperData 和 sayHello 的函数签名(输入输出参数不变)
    • 内部实现从老代码(ImageLocation imgLoc)切换到新代码(PaperRecognizer)
    • 修改完成后移除 ImageLocation imgLoc 实例
  2. CMakeLists.txt:

    • 移除老的 cpp 文件
    • 添加新的 cpp 文件

关键问题确认:

让我看一下现有 sayHello 和 getPaperData 的具体实现,确认输入输出: 现在让我看一下新代码中 RecognitionResult 结构,确认返回值: 问题确认:

我注意到新老代码有一些差异,需要和你确认:

对比项 老代码 (ImageLocation) 新代码 (PaperRecognizer)
颜色输出格式 HSV+LAB (6个值) HSV+LAB+RGB (9个值)
颜色读取方式 在 NAPI 层手动读取 在 ColorReader 中读取
statusCode 使用 scalar.val[3] 使用 result.errorCode

关键问题:

  1. 颜色输出格式:老代码输出 HSV(3) + LAB(3) = 6个值,新代码输出 HSV(3) + LAB(3) + RGB(3) = 9个值。是否需要保持兼容(只输出6个值)?

    A: 只输出, HSV(3) + LAB(3)

  2. 颜色读取位置:老代码在 sayHello 里手动读取每个色块的颜色;新代码 PaperRecognizer 只返回色块中心点,颜色需要另外调用 ColorReader。我是否需要在 NAPI 层集成 ColorReader 来读取颜色?

    A: 可以。有不满足的地方,你微调代码就行。 目的是,基于每个色块的中心点,围绕中心点取若干像素的均值(这个地方,我之前是说取固定25像素。你曾经说过,自适应的方案)。这里还要主要一点,取值之前的试纸就是白平衡。

  3. statusCode:老代码用 scalar.val[3](0=成功,非0=失败),新代码用 result.success 和 result.errorCode。是否需要映射?

    A: 关于响应的问题,我们可以讨论一下。成功的响应始终为0,这个没有问题。如果你的result.errorCode能够比较好的反馈出失败原因。你可以定义一个全局变量列表I错误D,及加上中文注释。我略微修改一下上层的app的提示,在app上也定义相同的ID。这样app的错误提示,就和你的提示对应上了。

  4. 白平衡:新代码支持白平衡,NAPI 是否需要暴露白平衡开关参数?

    A: 你先默认支持白平衡,在第二个问题 我已经回复了。

你还有其他问题吗?


我通过App扫描尿检试纸,集成测试发现2个问题: 1、识别率比较低,成功的图片帧不多; 2、我现在扫描的是14联的尿检试纸,但是比较容易被识别成11联的尿检试纸。

而你现在使用的日志输出,都是基于标准的C++日志输出,std::cout,这个输出方式,看起来不能在DevEco Studio控制台打印出日志!? 要么我使用方式不对,要么就是DevEco Studio不支持不允许?

你研究一下,添加鸿蒙 的 日志输出:

  1. 在你的代码的主流程的任何识别失败返回地方,添加日志,打印相关参数和原因;
  2. 成功识别14项,11项试纸的地方,打印关键参数,如识别出的当前图片的定位块之间的长度,倍数等等 (打印你认为能判断问题的任何信息)**

打印什么信息,你决定!!! 我测试之后,把日志从DevEco Studio控制台复制给你分析问题。

// #include "hilog/log.h"

以上内容,你理解我的诉求吗?


我在 E:\Qoder\urologist\entry\src\main\cpp\logs 放了1.txt, 2.txt, 3.txt, 4.txt,及err1.png ,err2.png几个文件。

  1. txt是日志输出结果,你分析一下,能不能分析一些异常
  2. err1.png, err2.png 这俩个文件,是我的新发现的异常情况!!! 你在图上,打了14个圆圈,但是位置好像不对! 我不确定你取中心点,获取颜色的地方,是不是也这样 。。。。这个错误情况,发生在大定位块在左边,小定位块在右边。。。。;如果小定位块在左边,大定位块在右边,画圈的位置就不出错。

  1. 我微调了11L的distTimes,这是两个定位块中心点的距离倍数,你写成11S一样的了,两种是有差异的。 // PST_11_L: 11联, 15mm大定位块 config11l.distTimes = 18.1; // 17.6 -->18.1

2.我微调了定位块的面积比,让10毫米的比例最高还是4,但是15毫米的比例最低设置成4.2,减少10毫米,被识别成15毫米的可能性 // 面积比范围定义(参照老代码) double Min_AreaRadio_S = 2.6; double Max_AreaRadio_S = 4; double Min_AreaRadio_L = 4.2; double Max_AreaRadio_L = 6.0;

你觉得这样是否合理???


每一张成功被识别的图片的最终试纸类型,是由LocatorColor 和 PaperSpatialType共同决定的。所以,需要在napi_init的SeyHello函数里面返回给上层。你的代码有保存这2个参数吗?

请在napi_init的405行之上添加返回值(// parameter 7: status code 这个参数的前面)