# CPP模块介绍 这个opencv图像处理模块,路径在E:\Qoder\urologist\entry\src\main\cpp 实现的功能包括: 1. 对尿检试纸进行定位; 2. 获取每个尿检化学反应色块的颜色值。 通过N-API接口实现ArkTS/TS/JS与C/C++之间的交互。 这个函数是调用的主入口函数:napi_value SayHello(napi_env env, napi_callback_info info)   # 试纸定义 ## 试纸描述 - 干化学试纸的规格。试纸高度5毫米。通过拍照出来的图片存在变形可能性,不一定是5毫米。本文以下的试纸宽度和高度描述,都是基于设计和生成的高度,程序中计算相应的数据时,需要注意这一点。算法实现上肯定不是基于这种厘米毫米单位来计算距离的,而是通过本文描述的这种长宽比率之类算相对值。 - 产品支持多个规格的试纸,包括14联,11联,10联,8联多种试纸 >参考BlockItems结构。 - 试纸设计了两个定位块,一大一小。检测项和定位块的高度都是一样的,并且都是顶部对齐的,在一条线上的。两个定位块处在两边,检测项夹在中间。小定位块的宽度始终是3毫米。大定位的宽度可能是10毫米,或者15毫米。 > 参考BigLocatorType结构。 - 结果试纸的联数,和大定位块的长度,则可以定义出不同规格的试纸类型 > 参考PaperSpatialType, 其中 PST_14_S 表示 14联且是10毫米的**大定位块**, PST_14_L表示 14联且是15毫米的**大定位块** - 定位块的颜色有3种,即后文配置文件中的color,分别对应red(1),green(2),blue(3) 。每条试纸上的两端的定位块颜色,一定是相同的。通过算法找出来的定位块颜色,一定是接近的,如果相差太远,就一定是找错定位块了。 > 参考LocatorColorClassification结构。 - 试纸的每个检测项目是一个色块,色块是5毫米 X 5毫米的正方形。色块中的化学物质同尿液成分发生化学反应,呈现不同颜色值。 - 大定位块,检测项色块,小定位块,它们之间的空白间隔是2毫米。例如,假设8联试纸的大定位块宽带10毫米。那么这个试纸的总长度是这么计算出来的,3(小定位块宽) + 10(大定位块宽) + 5 * 8(检测项总宽) + 9 * 2 (8个色块,对应着9个间隔) = 71毫米。 - 用户在使用试纸的时候,摆放顺序可能比较随意,可能平放也可能不是完全平放。可能是小定位块放左边,也肯能放右边。 - 从小定位块和大定位块的中心点,画一条直线,那么理论上肯定是穿过所有检测项目的中心点。在找到每个检测项中心点后,基于每个中心点,以中心点为中心,做5X5的矩形,取这个矩形25个像素的颜色值的均值,作为每个检测项目的色块颜色。取出的颜色值如果是RGB,需要通过opencv的颜色转换函数得到HSV和LAB颜色。 ## 试纸的样例 E:\Qoder\urologist\entry\src\main\cpp\images目录下的,red_paper.jpg和blue_paper.jpg是设计图,其他的jpg文件是摄像头采集的图片,如65686153160b075c3d7eb019f9eecdb4.jpg # 模块改造需求 ## 原有代码的主要定义,需要继续保留的定义(可以重新命名): 1. BlockItems 试纸的联数,14项,11,9,7 2. BigLocatorType 大定位块的类型,1 ( 15毫米),0 (10毫米) 3. LocatorColorClassification 定位块的颜色,同一个试纸,大小定位块颜色始终一致 4. PaperSpatialType 试纸类型规格,PST_14_S表示:14项,小定位块; PST_11_L表示:11项,大定位块 5. PaperConfig 每一个具体规格的试纸,具体的参数值, 这个试纸规格的结构,可以完全重新定义,需要什么参数就定义什么参数:     PaperConfig* pc = new PaperConfig();     pc->itemsNum = 14; //BI_14 14项试纸     pc->paperSpatialType = PST_14_S; //14项,小定位块     pc->slicesNum = 50; //2毫米为单位的最小分割单位数量,两个定位块靠近反应色块的边缘之间的距离 除以 2毫米单位,得到这个值。之前通过这个值,获得每个化学反应色块的中心点位置     pc->firstPos = 2.25; //这个值乘以2毫米,得到靠近定位块的第一个化学反应色块的中心点位置     pc->step = 3.5; // 这个值乘以2毫米,得到相邻两个化学反应色块之间的距离     pc->distTimes = 21.3; //两个定位块中心点的距离 除以 试纸高度     pc->whRRatio = 2;//大定位块(假设大定位块在右边,右边定位块)的长(宽) 高 比例,10毫米宽 除以 5毫米的试纸高。     pc->whLRatio = 0.6; //小大定位块(假设大定位块在左边,左边定位块)的长(宽) 高 比例,3毫米宽 除以 5毫米高     mapPaperConfig.insert(std::make_pair(PST_14_S, pc)); ## 代码修改范围限于:E:\Qoder\urologist\entry\src\main\cpp,其他目录的代码不要做任何修改 ## 基于Opencv开源库,使用C++代码实现现有的业务逻辑,需要实现的逻辑包括(但不限于): 1. 从上层NAPI接收图片 2. 试纸定位:根据试纸定位块的特点(前文有说明),找到定位块,从PaperConfig列表里找到符合条件的试纸规格; 试纸定位块的颜色不是绝对相等的,红,绿,蓝都是相对范围; 同一个试纸的的两个定位块颜色一定是一样的,颜色即使生产和扫描出现颜色色差也是不大的; 从摄像头出来的图片会存在变形的,因此无论是反应色块,定位块,定位块之间的距离,都会存在一定的误差,**所以计算任何一个试纸相关的空间值的时候,都需要有一个误差范围**,可以定义一些全局的误差范围,方便随时微调 试纸摆放是随意的,不一定是水平的,有可能大定位块在左边,也可能大定位块在右边,甚至存在垂直或者一定的角度 前文中讲的 **所有毫米单位,都是试纸生成的实际尺寸**, 在图像处理和计算的时候,这些生产的试纸尺寸都是作为一个计算比例,需要根据试纸图片的实际像素进行相应的比例计算的。 3. 获得反应色块的中心点位置列表 根据找到的反应色块,进一步根据找到的PaperConfig规格,获得每一个化学反应色块的中心点 为了给用户实际扫描尿检的操作过程中,提供视觉的参考,对于成功定位的试纸,需要围绕每个反应色块的中心点,画一个红色圆圈(半径5像素),绘制在原图上,原图会返回给上层的NAPI,显示到用户的手机屏幕上。 4. 读取每个化学反应色块的颜色值 因为前面步骤会在原图上画定位的圆圈。因此基于画了圈之后的原图读取中心点的颜色,可能收到颜色干扰。 因此,应该在画圈之前,复制一个原图的Mat。基于复制的Mat进行读取颜色的操作。 从摄像头采集的图片,存在环境光的干扰,读取颜色之前,需要做白平衡处理。 读取的颜色值,填写给上层调用者的,始终是靠近小定位块的排第一个,无论小定位块在左边还是右边等等。 从白平衡处理后的图片中读取围绕中心点的25个像素的均值颜色值HSV和LAB ## NAPI的入口函数SayHello介绍 核心的上下层的交互函数就是SayHello,这个函数位于napi_init.cpp中: 调用图片定位算法 读取每个化学反应色块的颜色值 填写返回给上层的返回值 ## 具体编码要求 ### 只改造E:\Qoder\urologist\entry\src\main\cpp目录下的CPP代码逻辑 ### 重新写基于opencv库的C++业务代码,创建新文件,不要基于老的C++代码进行修改(除了napi_init.cpp外)。 ### napi_init.cpp可以修改,但建议只重写SayHello函数,将老的SayHello注释掉。给SayHello的返回值必须保持一致,这样上层的调用者就不需要调整代码。 ## 测试要求 ### 写完代码之后,需要测试,**编写测试的C++代码文件,测试试纸定位和获取颜色值**。 我的Opencv的windows官方库,安装在D:\opencv这个目录,测试代码需要链接opencv的头文件和静态库和动态库,可以到这个目录找到。 E:\Qoder\urologist\entry\src\main\cpp\images 目录下有多个测试图片: 11green_1.png 11green_2.png 14blue_1.png 14blue_2.png 14red_1.png 14red_2.png 144a8eec813190f8aebd65fde1cfb37a.jpg 41bc77e5411c53d30aad2a234c41cc21.jpg 42a87ab3574693a24284169b1a34d4f6.jpg 486c492d8e557d7165e7f1ee7d1c46fc.jpg 65686153160b075c3d7eb019f9eecdb4.jpg 8372934490298af55253e4fa6fd0d400.jpg 89d1025813cf81ccc53706c1dca5ff72.jpg a2d3bb35cc0f69ccd6a1e400dc197b5d.jpg be3af2fa7372464a98172a91fa52adb8.jpg c841c6a39cdde0a8a98a32693cf40142.jpg 以下两个图片,是设计图(如果你能读取,则读取看看,了解一下): red_paper.jpg blue_paper.jpg ### 测试输出 建议在E:\Qoder\urologist\entry\src\main\cpp 建一个测试目录,存放测试结果。 测试结果输出需要涵盖: 1、图片是否识别成功 2、成功的图片需要在图片的定位块和反应色块中心位置画红色圈,方便我检查效果 3、成功定位的图片,颜色值HSV,LAB,RGB,建议每个图片存储一个文本文件 4、成功定位识别的图片,根据读取的颜色值,还原生成一个新图片(模拟试纸的形状, 定位块,反应色块。 反应色块的颜色就用读取的颜色) # 最终的输出 这一步先不做,等一切测试结束,没有问题了。我再来说,下达指令。 这一步,主要是: 修改CMakeLists,将新编写的C++代码放进去 编译hap测试 --- 我需要重新构建我的opencv尿检识别库。我在 E:\Qoder\urologist目录,放了一个需求文件**鸿蒙算法改造.md**,请仔细研读: 1、找出我的需求漏洞,给我提问题,直到我们双方达成一致意见。将我们的沟通意见,写在一个沟通日志里。 2、如果需求没有问题,构建你的Plan,技术路线,技术架构,实现方法,实现步骤,测试计划等等。这些内容,都应该写入文档。 3、做完上述事项,告诉我。我让你逐步实现这个项目。 --- **做所有的事情之前,请阅读原有的CPP代码(E:\Qoder\urologist\entry\src\main\cpp)了解现有代码逻辑,现有代码逻辑也许有细微的不合理之处,但是可以作为新代码的参考** **如有必要,可以识别一下试纸,了解一下试纸的特征**, 如试纸:11green_1,14red_1 **如果还有问题,继续问我** 一、试纸定位算法相关 Q1:定位块的识别特征 文档提到定位块有颜色(红/绿/蓝),但具体颜色范围(HSV边界值)是什么? 定位块的形状特征是什么?矩形?是否有最小/最大面积限制? 如何区分"找到的矩形"是定位块还是反应色块? A1: 定位块颜色,建议使用R,G,B的分量比例 来判 试纸定位块颜色。因为支持的试纸中,绿色可能就有几种绿色,采用单一固定值可能有问题,同时计算HSV边界值可能在快速找到的opencv轮廓,会降低效率。 定位块有两种,每个试纸有两个定位块,处于试纸两端。试纸高度始终是5毫米。小定位块宽度3毫米,高5毫米。大定位块有两种,高度都是5毫米,宽度一个是10毫米,一个是15毫米。 根据我对定位块的描述看,定位块肯定是矩形的,而反应色块是正方形的。**有必要说一句,反应色块可能什么颜色也没有,白色。通过opencv的轮廓查找函数,是找不到这些白色的反应色块的** 两个定位块在试纸的两端,中间的部分是试纸反应色块的位置。我在试纸定义有描述。 Q2:定位失败的处理 如果找不到两个定位块,返回什么错误码? 如果找到多个候选定位块,如何选择正确的? A2: 定位试纸的一个要诀,反应色块和定位块是一条线的,对齐的。(我在原有代码中用了一个fitLine函数,将所有的这些找到的轮廓做一个线性拟合,判断反应色块和定位块是否在一条线上。。。我的方法是不准确,不太对的)。 找不到两个定位块,返回错误,参考现有的SayHello代码。 一张图片上,找到多于2个定位块,直接返回错误,不做进一步的处理,参考现有的SayHello代码。 Q3:试纸角度处理 文档说"可能存在垂直或者一定的角度",最大倾斜角度是多少度? 是否需要做图像旋转校正?还是只需要计算斜率来定位色块中心点? A3: 不要限制倾斜角度,根据opencv查找轮廓,根据轮廓特征,进一步定位到试纸就好。 不要对图片进行旋转处理,根据几何和数学公司,结合计算出来的斜率来定位试纸和中心点等等 二、PaperConfig 参数相关 Q4:slicesNum 计算方式 文档说"slicesNum = 两个定位块靠近反应色块的边缘之间的距离 / 2毫米" 但实际像素中,这个"2毫米"如何转换?是否应该用"定位块高度"作为基准单位? A4: 这是一个比例问题,我给的2毫米,这些单位都是生产单位。你需要根据这种生产单位转换成一个比例值。假如某种试纸,10毫米 X 5毫米的定位块,通过查找图片得到这个定位块,这个定位块的长宽可能是100像素 X 50像素。这个时候,抛开这个像素,和毫米的单位,你发现了没有数值放大了10倍,那么你按照PaperConfig里面的这些值来计算具体的像素,就是乘10的关系了。 **我不知道我讲清楚了没有,没有的话,这一点,你继续提问。** Q5:firstPos 和 step 的单位 这两个值是"以2毫米为单位"还是"以最小分割单位为单位"? 例如 firstPos = 2.25,是说第一个色块中心点距离定位块边缘 2.25×2毫米 = 4.5毫米? A5:是的。我们用毫米计算看哈,定位块边缘到第一个反应色块距离2毫米,反应色块的宽高是5毫米,则中心点到边缘上2.5毫米, (2 + 2.5)/ 2 = 2.25 ,除数2是最小分割单位为单位。 本质上,firstPos 和 step 这两个值,是一个倍数。 "以2毫米为单位"还是"以最小分割单位为单位" 这个是基于生产试纸的实际尺寸的。 而你的计算是基于像素的。 三、颜色读取相关 Q6:白平衡算法 现有代码有 Whitebalance 和 WhitebalancePR 两个函数,使用哪个? 白平衡参考点如何选取?是从定位块?还是从特定区域? A6: 我放了一个目录reference进来,里面存放了你之前帮我写的另外一个项目的代码,也是关于尿检试纸的。你可以借鉴和阅读。包含了试纸定位和颜色纠偏(白平衡)的算法。具体哪个更好,需要实际测试。我感觉你之前帮我写的目录reference下面的颜色纠偏效果可以。 白平衡基于整个图片进行。 Q7:颜色返回顺序 "靠近小定位块的排第一个"——如果小定位块在右边,是否从右往左编号? 返回的颜色顺序是否需要根据试纸摆放方向反转? A7: 颜色选取顺序始终是从靠近小定位块的化学反应色块开始的。无论试纸怎么摆放。 Q8:采样区域大小 文档说"5X5的矩形,取25个像素",但实际图片中5毫米对应多少像素? 是否需要根据检测到的试纸高度动态计算采样半径? A8: 我提的方案是基于中心点,取25个像素,是减少计算量的方式。你可以尝试使用动态计算半径的方式。最少取25个像素的均值。 四、返回值格式相关 Q9:SayHello 返回值确认 现有返回值包含 buffer、width、height、statusCode、strBuffer 等 新实现是否完全保持一致? strBuffer 中的颜色值格式是否保持 {"id":0,"value":"h,s,v,l,a,b"} 这种JSON格式? A9:完全一致,因为我不想改造上层代码。strBuffer格式也是如此。 甚至测试的时候,你应该把这些结果也存储下来,我可以比较对不对。 五、测试相关 Q10:测试代码运行环境 Windows下独立测试程序,还是需要集成到鸿蒙项目测试? 测试程序是否需要支持命令行参数指定图片路径? A10: 你写独立的windows命令行程序,你自己运行测试程序。同时,告诉我怎么运行你写的测试程序。 Q11:误差范围参数 文档提到"需要定义一些全局的误差范围",具体有哪些误差参数? 例如:颜色误差、面积误差、距离误差、角度误差等 A11: 你说的误差参数,都存在。你也可以从我的老代码里,看到一些写死的值,这些值大多数是我测试时候使用的经验性误差值。误差值如果太小会让识别成功率较低,误差值太大会让误判率增加。 颜色误差:定位块R,G,B前面讲了,主要采用定位块轮廓里的R,G,B分量大小判断,附加上 大小定位块颜色是否接近: 两个 RGB 颜色 `Color1(R1,G1,B1)` 和 `Color2(R2,G2,B2)` 的欧式距离d=(R1−R2)2+(G1−G2)2+(B1−B2)2​。 关键阈值(行业通用标准),RGB 每个通道取值范围:**0~255**, 1. **完全相同**:距离 `d = 0` 2. **人眼几乎无法区分(接近)**:距离 `d ≤ 15` 3. **轻微差异(可感知)**:`15 < d ≤ 30` 4. **明显不同**:`d > 30` 我感觉 欧式距离 差异20左右,就可以判断定位块颜色相同。 面积误差:10% 距离误差:10% 角度误差:15% 这3个建议用全局变量来调节,如果是不同场景下,比如角度/面积,相同的误差率不合适,应该采用多个全局变量来分别定义。 六、试纸规格确认 Q12:需要支持的试纸规格 文档列出14联、11联、10联、8联,但代码中还有6联、4联 是否所有规格都需要支持?还是只支持特定几种? A12:我在ImgLocateDryChemistry::initPaperConfig定义了几种规格。你可以去掉一些支持的范围,只支持14,11,8联,其他的定义保留,但是代码可以不实现。14,11,8联支持两个大定位块。使所以,你会定义6种类是PaperConfig的数据数组。 Q13:每种规格的PaperConfig参数 文档只给出了PST_14_S的参数示例 其他规格(11联、10联、8联等)的参数是否需要我根据试纸尺寸公式计算? A13: 见A12,你写的代码,支持14,11,8联,包括两个大定位块。其实就是6种规格的试纸。如果算上定位块颜色R,G,B,就是18种试纸了。 --- ### 一、图片输入相关 **Q14:图片格式和来源** - 测试图片有 PNG 和 JPG 格式,是否需要支持其他格式(如 NV21/YUV 原始数据)? - 现有 `SayHello` 函数接收的是 NV21 格式的摄像头数据,测试程序是否也需要支持 NV21?还是只用 PNG/JPG 测试? A14: 不需要支持其他图片格式。图片只是给你测试用的。你写的代码本身是让SayHello来调用的。我也没有NV21格式的测试数据给你。 **Q15:ROI 区域** - 测试图片已经是裁剪过的试纸区域,但实际摄像头拍摄可能是大图 - 新代码是否需要支持从大图中自动搜索试纸位置?还是假设输入已经是裁剪好的 ROI? A15: 你说的完全正确。是裁剪了的。 11green_1.png,11green_2.png,14blue_1.png,14blue_2.png,14red_1.png,14red_2.png 这几个文件,则跟实际传递的图片大小差不多。 这些裁剪的图片从哪里来的?是savePaperImg这个函数产生的,裁剪了整个试纸的最小外包矩形。 ### 二、试纸识别边界情况 **Q16:白色反应色块的处理** - 您提到"反应色块可能什么颜色也没有,白色" - 白平衡处理应该在读取颜色**之前**做,那白平衡处理后的白色色块,其RGB值如何解释? A16:我讲什么颜色也没有,可能说法不准确,比如某个检测项目阴性,颜色很浅,通过findContours查找轮廓可能就找不到这个反应色块的轮廓了。但是,在计算颜色的时候,在这个很浅的色块上也是要读取的。 **最核心的一句话,差点忘记说: 计算每个化学反应色块的位置,这件事本身本化学反应色块本身的位置无关;化学反应色块的位置是通过两个定位块的位置,计算出来的。有可能会跟实际的中心点位置有偏差** **Q17:定位块的亮度变化** - 摄像头采集的图片,定位块颜色可能因为光照变化而有明暗差异 - 用 RGB 分量比例判断颜色时,是否需要考虑亮度归一化?例如: - 深红 vs 浅红 → 都是红色 - 如何设定比例阈值? A17: 光线有影响,因此有可能某个图片找不到定位块,比如反光了图片就白了 总体上,深红,浅红,都是红色,其RGB的R分量应该是大于G,B分量的,你可以从我的代码中看到这一点。但是我的代码没有判断欧式距离,你可以加上欧式距离,好处是:如果一个定位块是“深红色”,获得的另外一个定位块颜色是“浅红色”,这个时候欧式距离可能就超过20(我假设的阈值),我们就可以认为,这两个定位块也不符合要求。 ### 三、输出和测试 **Q18:颜色输出格式确认** - `strBuffer` 格式:`{"id":0,"value":"h,s,v,l,a,b"}` - HSV 和 LAB 的数值精度是多少?整数还是浮点数?保留几位小数? A18: 保留2位小数点。 **Q19:还原图片的格式** - 测试输出要求"还原生成一个新图片",这个图片应该是什么格式? - PNG?JPG?分辨率是多少? A19:jpg,分辨率可以非常小,供我参考使用,我可以直观看看你读取的颜色对不对。 我给个14项红色尿检试纸,大小给你参考: 假设你生成的试纸高度50像素; 试纸小定位块在左,小定位块宽度30像素,高度50像素,定位块颜色(255,0,0); 每个反应色块的大小,宽高都是50像素; 大定位块宽度100像素; 小定位块,14个检测项目色块,大定位块这16个元素之间的空白间隔是20像素。 这么一个试纸,你生成200像素高,1000像素宽就足够了,试纸居中显示就好!!! --- 如果以上问题都清楚了,我就可以开始编写: 1. **沟通日志** - 记录我们的所有讨论 2. **技术方案文档** - 包含架构设计、实现步骤、测试计划等 --- 我检查了你的输出结果,这两个文件:11green_1_annotated,14red_1_annotated, 1、定位块的位置,找对了。 2、反应色块位置,找错了。 我目测看,你在大定位块里面,也打了化学反应色块的小圆圈。你在计算距离和连线计算的时候,起点在小定位块矩形靠里的那条边的中心点(靠化学反应块的那条边),终点在大定位块矩形靠里面那条边中心点(靠近化学反应色块)。基于起点和终点,按照我或者你定义的方法,找到所有的色块中心点。 如果你计算方式从大定位块到小定位块,原理也是一样的。 --- 14red_1_annotated这个文件的中心点,标准的很正确。 11green_1_annotated从小定位块开始的第三个点,就有点偏离中心了。其他点,都偏离了中心点! 研究一下,可能什么原因? --- 定位块的颜色判断,是不是不一定使用HSV的H分量来判断? **如果你使用的HSV效果判断不错,也是可以的** 为什么不用R, G,B分量的比例来判断?你的理由是什么?我之前的代码是使用,R,G,B分量判断试纸类型的。参考ImgLocateDryChemistry::analyseLocatorColor ,ImgLocateDryChemistry::readLocatorColor 1. 试纸的定位块的面积比你需要考虑,同时定位块的宽高比,你也需要考虑。这样才符合试纸的定义,减少误判。 2. 试纸是可以任意角度摆放,不能假设是水平放置的。 3. 试纸,顶部和底部都是平行的,也是判断试纸合规的限制条件之一。 4. 面积阀值,和颜色阀值,你都可以微调,提高识别率。 还有几个小问题,你可以参考一下,看看还有没有增强的地方,因为是手机app,需要提高效率,减少运算量,减少每一帧图片的处理时间: 1、你在找轮廓的时候,应该抛弃特别小的轮廓,比如小于面积100的,形状不对的。。 2、**在搜索定位块的时候,你一开始就可以刻意抛弃正方形的轮廓(我的产品设计里, 定位块永远不会做成正方形的)**,这样留下来的,更有可能是定位块的轮廓。 3、经过各种过滤以后,最后,你需要把所有轮廓,如按照X,Y位置顺序,或某个其他策略将轮廓列表排序,取第一个和最后一个轮廓,抛弃其他所有的轮廓,判断选中的两个轮廓是不是定位块。 你要知道,所有的反应色块,都在定位块中间,反应色块是不参与定位的。 4、你要深入理解我的老代码ImgLocateDryChemistry, 虽然老代码里的逻辑不一定全部对,但是需要采纳其中的正确内容。 --- ## 多条试纸的处理逻辑: 让我解释一下当前 ganrao6 多条试纸的处理逻辑: 让我查看 ganrao6 的实际测试结果: 实际上,根据当前代码和最新测试结果,**ganrao6 返回的是识别失败**(错误码6:检测到多条试纸)。 目录中的 `ganrao6_annotated.jpg` 是之前遗留的文件。 **多条试纸识别原理说明:** ``` ┌─────────────────────────────────────────────────────────────┐ │ 图像中的两条试纸 │ │ ┌─────────────────────────────────────────────────────┐ │ │ │ 上面试纸: [小定位块] [色块...] [大定位块] │ │ │ │ Y坐标约: 200 │ │ │ └─────────────────────────────────────────────────────┘ │ │ │ │ ┌─────────────────────────────────────────────────────┐ │ │ │ 下面试纸: [小定位块] [色块...] [大定位块] │ │ │ │ Y坐标约: 500 │ │ │ └─────────────────────────────────────────────────────┘ │ └─────────────────────────────────────────────────────────────┘ ``` **处理流程:** 1. **Y坐标聚类** ([groupCandidatesByY](entry/src/main/cpp/PaperRecognizer.cpp#L245-290)) - 将所有候选定位块按Y坐标排序 - 计算Y坐标差距阈值(平均高度的3倍) - 差距小于阈值 → 同一组(同一试纸) - 差距大于阈值 → 新组(不同试纸) 2. **组内配对验证** ([findValidLocatorPairInGroup](entry/src/main/cpp/PaperRecognizer.cpp#L292-360)) - 对每组尝试找有效的大-小定位块配对 - 验证:一个大定位块 + 一个小定位块 - 验证:颜色一致性 - 验证:面积比正确 - 验证:Y坐标差距(同一试纸的定位块应该Y相近) 3. **结果判定** - 0个有效配对 → 识别失败 - **1个有效配对 → 识别成功** - **>1个有效配对 → 返回失败(避免误判)** --- ## 尿检试纸识别完整处理流程 ``` ┌─────────────────────────────────────────────────────────────────────────────┐ │ 尿检试纸识别处理流程 │ └─────────────────────────────────────────────────────────────────────────────┘ 输入: 原始图片 (JPG/PNG/BMP) │ ▼ ┌─────────────────────────────────────────────────────────────────────────────┐ │ Step 1: 图像预处理 │ ├─────────────────────────────────────────────────────────────────────────────┤ │ 1. 颜色空间转换: BGRA/BGR/Gray → BGR │ │ 2. 生成HSV图像 (用于颜色分割) │ │ 3. 生成灰度图像 (用于边缘检测) │ │ 4. 高斯滤波降噪 (5x5核) │ └─────────────────────────────────────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────────────────────┐ │ Step 2: 定位块检测 │ ├─────────────────────────────────────────────────────────────────────────────┤ │ 2.1 颜色分割 │ │ ├─ 红色: H∈[0,10]∪[160,180], S>70, V>50 │ │ ├─ 绿色: H∈[35,85], S>70, V>50 │ │ └─ 蓝色: H∈[90,150], S>50, V∈[10,120] │ │ │ │ 2.2 形态学处理 │ │ ├─ 闭运算 (9x9核): 填充孔洞 │ │ └─ 开运算 (9x9核): 去除噪点 │ │ │ │ 2.3 轮廓检测与过滤 │ │ ├─ 面积过滤: 100 < area < imageArea*0.1 │ │ ├─ 宽高比过滤: 1.5 < ratio < 5.0 (排除正方形) │ │ └─ 矩形度过滤: rectangularity > 0.7 │ │ │ │ 2.4 多试纸处理 (Y坐标聚类) │ │ ├─ 按Y坐标分组,差距 < 3倍平均高度 → 同一组 │ │ ├─ 每组尝试找有效配对 (一大一小定位块) │ │ ├─ 验证: 颜色一致 + 面积比正确 + Y坐标相近 │ │ └─ 结果: 0组→失败, 1组→成功, >1组→返回失败(避免误判) │ └─────────────────────────────────────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────────────────────┐ │ Step 3: 定位块验证 │ ├─────────────────────────────────────────────────────────────────────────────┤ │ 1. 颜色判断 (使用中心30%区域) │ │ ├─ 红色: R > G+20 且 R > B+20 │ │ ├─ 绿色: G > R+20 且 G > B+20 (或HSV判断) │ │ └─ 蓝色: B > G+15 且 B > R+15 │ │ │ │ 2. 确定大小定位块 │ │ ├─ 面积大的为"大定位块" │ │ └─ 面积小的为"小定位块" │ │ │ │ 3. 验证面积比 │ │ ├─ S型(10mm): 面积比 ∈ [2.5, 4.0] │ │ └─ L型(15mm): 面积比 ∈ [4.0, 6.0] │ └─────────────────────────────────────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────────────────────┐ │ Step 4: 试纸规格匹配 │ ├─────────────────────────────────────────────────────────────────────────────┤ │ 计算关键参数: │ │ ├─ 定位块中心距离 │ │ ├─ 试纸高度 = 大定位块短边 │ │ └─ 距离比 = 定位块中心距离 / 试纸高度 │ │ │ │ 匹配逻辑: │ │ ┌──────────────────────────────────────────────────────────────┐ │ │ │ S型(10mm大定位块, 面积比<4.0): │ │ │ │ 距离比 19.5~23.5 → PST_14_S (14联) │ │ │ │ 距离比 15.9~19.2 → PST_11_L (11联) │ │ │ │ 距离比 11.6~14.1 → PST_8_S (8联) │ │ │ ├──────────────────────────────────────────────────────────────┤ │ │ │ L型(15mm大定位块, 面积比≥4.0): │ │ │ │ 距离比 19.5~24.0 → PST_14_L (14联) │ │ │ │ 距离比 15.9~19.2 → PST_11_L (11联) │ │ │ │ 距离比 12.0~14.5 → PST_8_L (8联) │ │ │ └──────────────────────────────────────────────────────────────┘ │ │ │ │ 加载对应配置: itemsNum, firstPos, step (用于计算色块位置) │ └─────────────────────────────────────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────────────────────┐ │ Step 5: 计算色块中心点 │ ├─────────────────────────────────────────────────────────────────────────────┤ │ 1. 计算方向向量 (从小定位块指向大定位块) │ │ │ │ 2. 计算起点和终点 (使用定位块边缘中心) │ │ ├─ 起点 = 小定位块右边缘中心 │ │ └─ 终点 = 大定位块左边缘中心 │ │ │ │ 3. 计算每个色块中心点 │ │ center[i] = 起点 + (firstPos + i * step) * 单位向量 │ │ │ │ 输出: 14/11/8 个色块中心坐标 │ └─────────────────────────────────────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────────────────────┐ │ Step 6: 读取颜色 & 输出结果 │ ├─────────────────────────────────────────────────────────────────────────────┤ │ ColorReader读取每个色块的: │ │ ├─ HSV值 (色相、饱和度、明度) │ │ ├─ LAB值 (亮度、红绿、黄蓝) │ │ └─ RGB值 │ │ │ │ 输出文件: │ │ ├─ *_annotated.jpg (标注定位块和色块位置的图片) │ │ ├─ *_colors.txt (颜色数据文本) │ │ └─ *_restored.jpg (还原试纸颜色条带图, 1250x200像素) │ └─────────────────────────────────────────────────────────────────────────────┘ │ ▼ 输出: RecognitionResult ├─ success: true/false ├─ errorCode: 0=成功, 1=无轮廓, 2=配对失败, 4=规格不匹配, 6=多试纸 ├─ paperType: PST_14_S / PST_14_L / PST_11_L / PST_8_S / PST_8_L ├─ locatorColor: RED / GREEN / BLUE ├─ itemCount: 14 / 11 / 8 └─ colorBlockCenters: 色块中心坐标列表 ``` **支持的试纸规格 (6种):** | 类型 | 联数 | 大定位块尺寸 | 面积比范围 | 距离比范围 | |------|------|-------------|-----------|-----------| | PST_14_S | 14联 | 10mm | 2.5~4.0 | 19.5~23.5 | | PST_14_L | 14联 | 15mm | 4.0~6.0 | 19.5~24.0 | | PST_11_S | 11联 | 10mm | 2.5~4.0 | (保留) | | PST_11_L | 11联 | 15mm | 4.0~6.0 | 15.9~19.2 | | PST_8_S | 8联 | 10mm | 2.5~4.0 | 11.6~14.1 | | PST_8_L | 8联 | 15mm | 4.0~6.0 | 12.0~14.5 | --- ## 我们开始做NAPI的集成工作,主要是修改一下两个文件: E:\Qoder\urologist\entry\src\main\cpp: napi_init.cpp CMakeLists.txt 1. napi_init.cpp,你直接改就好,napi_init.cpp 已经复制了一份napi_init_old.cpp了; 这个文件里,主要改造getPaperData,和sayHello。这两个函数的输入和输出,严格保留原有的输入和输出参数,保证上下层的兼容。getPaperData,和sayHello里面的opencv实现代码,改成跟你的新代码进行对接,退换。 这个文件中的老的ImageLocation imgLoc这个实例相关的代码,在你修改完成代码后,移除掉。 2. CMakeLists.txt里面原来的文件,除了napi_init.cpp外,老的cpp文件去掉,把你写的新文件加进去。 你先理解一下我的需求,再对照现有的新的老的cpp代码,你看看有没有问题,有问题就问我 --- 好的,我理解你的需求。让我先仔细分析现有代码,然后给你确认一下我的理解: **需求理解:** 1. **napi_init.cpp**: - 保留 `getPaperData` 和 `sayHello` 的函数签名(输入输出参数不变) - 内部实现从老代码(`ImageLocation imgLoc`)切换到新代码(`PaperRecognizer`) - 修改完成后移除 `ImageLocation imgLoc` 实例 2. **CMakeLists.txt**: - 移除老的 cpp 文件 - 添加新的 cpp 文件 **关键问题确认:** 让我看一下现有 `sayHello` 和 `getPaperData` 的具体实现,确认输入输出: 现在让我看一下新代码中 `RecognitionResult` 结构,确认返回值: **问题确认:** 我注意到新老代码有一些差异,需要和你确认: | 对比项 | 老代码 (ImageLocation) | 新代码 (PaperRecognizer) | |--------|------------------------|--------------------------| | **颜色输出格式** | HSV+LAB (6个值) | HSV+LAB+RGB (9个值) | | **颜色读取方式** | 在 NAPI 层手动读取 | 在 ColorReader 中读取 | | **statusCode** | 使用 `scalar.val[3]` | 使用 `result.errorCode` | **关键问题:** 1. **颜色输出格式**:老代码输出 `HSV(3) + LAB(3) = 6个值`,新代码输出 `HSV(3) + LAB(3) + RGB(3) = 9个值`。是否需要保持兼容(只输出6个值)? A: 只输出, HSV(3) + LAB(3) 2. **颜色读取位置**:老代码在 `sayHello` 里手动读取每个色块的颜色;新代码 `PaperRecognizer` 只返回色块中心点,颜色需要另外调用 `ColorReader`。我是否需要在 NAPI 层集成 `ColorReader` 来读取颜色? A: 可以。有不满足的地方,你微调代码就行。 目的是,基于每个色块的中心点,围绕中心点取若干像素的均值(这个地方,我之前是说取固定25像素。你曾经说过,自适应的方案)。这里还要主要一点,取值之前的试纸就是白平衡。 3. **statusCode**:老代码用 `scalar.val[3]`(0=成功,非0=失败),新代码用 `result.success` 和 `result.errorCode`。是否需要映射? A: 关于响应的问题,我们可以讨论一下。成功的响应始终为0,这个没有问题。如果你的`result.errorCode`能够比较好的反馈出失败原因。你可以定义一个全局变量列表I错误D,及加上中文注释。我略微修改一下上层的app的提示,在app上也定义相同的ID。这样app的错误提示,就和你的提示对应上了。 4. **白平衡**:新代码支持白平衡,NAPI 是否需要暴露白平衡开关参数? A: 你先默认支持白平衡,在第二个问题 我已经回复了。 你还有其他问题吗? --- 我通过App扫描尿检试纸,集成测试发现2个问题: 1、识别率比较低,成功的图片帧不多; 2、我现在扫描的是14联的尿检试纸,但是比较容易被识别成11联的尿检试纸。 而你现在使用的日志输出,都是基于标准的C++日志输出,std::cout,这个输出方式,看起来不能在DevEco Studio控制台打印出日志!? 要么我使用方式不对,要么就是DevEco Studio不支持不允许? 你研究一下,添加鸿蒙 的 日志输出: 1. 在你的代码的主流程的任何识别失败返回地方,添加日志,打印相关参数和原因; 2. 成功识别14项,11项试纸的地方,打印关键参数,如识别出的当前图片的定位块之间的长度,倍数等等 (打印你认为能判断问题的任何信息)** **打印什么信息,你决定!!! 我测试之后,把日志从DevEco Studio控制台复制给你分析问题。** // #include "hilog/log.h" 以上内容,你理解我的诉求吗? --- 我在 E:\Qoder\urologist\entry\src\main\cpp\logs 放了1.txt, 2.txt, 3.txt, 4.txt,及err1.png ,err2.png几个文件。 1. txt是日志输出结果,你分析一下,能不能分析一些异常 2. **err1.png, err2.png** 这俩个文件,是我的新发现的异常情况!!! 你在图上,打了14个圆圈,但是位置好像不对! **我不确定你取中心点,获取颜色的地方,是不是也这样** 。。。。这个错误情况,发生在大定位块在左边,小定位块在右边。。。。;如果小定位块在左边,大定位块在右边,画圈的位置就不出错。 --- 1. 我微调了11L的distTimes,这是两个定位块中心点的距离倍数,你写成11S一样的了,两种是有差异的。 // PST_11_L: 11联, 15mm大定位块 config11l.distTimes = 18.1; // 17.6 -->18.1 2.我微调了定位块的面积比,让10毫米的比例最高还是4,但是15毫米的比例最低设置成4.2,减少10毫米,被识别成15毫米的可能性 // 面积比范围定义(参照老代码) double Min_AreaRadio_S = 2.6; double Max_AreaRadio_S = 4; double Min_AreaRadio_L = 4.2; double Max_AreaRadio_L = 6.0; 你觉得这样是否合理??? --- 每一张成功被识别的图片的最终试纸类型,是由LocatorColor 和 PaperSpatialType共同决定的。所以,需要在napi_init的SeyHello函数里面返回给上层。你的代码有保存这2个参数吗? 请在napi_init的405行之上添加返回值(// parameter 7: status code 这个参数的前面) ---