超深掩蔽联合改进YOLOv8实现温室番茄果实精准计数——93.8%精度突破与智慧农业应用-海口c网

超深掩蔽联合改进YOLOv8实现温室番茄果实精准计数——93.8%精度突破与智慧农业应用

article/2025/6/27 23:09:52

【导读】

番茄作为重要经济作物，其成熟度精准计数对优化采摘、品种改良等农艺管理至关重要。然而，传统视觉技术易受光照、果实重叠等因素干扰，而现有深度学习模型在复杂温室环境中跟踪稳定性不足，导致计数精度难以满足需求。沈阳农业大学团队提出基于超深掩蔽与改进YOLOv8的番茄计数方法，成功突破技术瓶颈，平均计数精度达93.8%，为智慧农业提供新方案！>>更多资讯可加入CV技术群获取了解哦~

论文链接：

http://www.tcsae.org/article/doi/10.11975/j.issn.1002-6819.202407205?viewType=HTML

一、技术创新

改进YOLOv8模型（YOLOT）

超深掩蔽处理：动态滤除远景干扰

BoT-SORT跟踪算法：稳定计数不遗漏

二、Coovally AI模型训练与应用平台

千款模型+海量数据，开箱即用！

无需代码，训练结果即时可见！

SSH直连云端算力，实时调试更自由！

大模型加持，智能辅助模型调优！

三、实验结果

目标检测模型比较

消融试验

计数精度验证

果实计数方法有效性分析

四、结论

一、技术创新

多目标跟踪算法主要基于目标检测模型检出的果实，通过目标特征提取与轨迹预测，在连续帧间匹配同一果实。在相机由远及近的运动中，由于场景遮挡、视角及光照变化产生的目标特征变化，使远景小目标连续跟踪困难。另外，图像中也会出现当前作物行后方的其他株行目标，对于逐行巡检来说，难以实现对后方株行果实的长期跟踪，易产生身份标识误分配或重分配。基于以上问题，本研究提出用超深掩蔽处理，滤除超过设定深度阈值的检测目标，使跟踪算法仅稳定跟踪近景目标，即在目标检测与目标跟踪流程间插入超深掩蔽处理，总体技术框架见图 1。

改进YOLOv8模型（YOLOT）

特征提取模块设计：本研究在卷积核生成过程中，通过应用 Transformer 的多头注意力（multi-head selfattention，MHSA）机制，在卷积核中引入并融合输入特征图的全局信息。同时为降低 MHSA 的运算量，用池化操作对键值矩阵进行降维。将重新生成的空间异质卷积核应用于 Involution 算子。卷积核融合了全局环境信息，具有全局注意力机制，并通过 Hadamard 运算传递给计算结果。将重新设计的 Involution 算子称为全局注意力化的 Involution（ global attention-based involution，GAInvolution），该算子的整体结构见图 2，将其作为主要的特征提取模块，用于模型骨干网络设计。

模型骨干网络设计：用 GAInvolution 算子取代YOLOv8 骨干网络CSPConv层（CSPLayer，图 3a）的 DarknetBottleneck 残差模块，构成新的特征提取层，命名为 CSPGLayer（图 3b），其中 n 和 C 为超参数，分别表示 GAInvolution 算子的堆叠层数和CSPGLayer 特征图通道数。由于GAInvolution算子的引入，CSPGLayer 具有了全局环境信息融合能力。用于 CSPGLayer，按 YOLOv8 网络架构，重新构建骨干网络，结构如图 3c，其中超参数 d 用于调节网络深度，超参数 w、r 用于调节网络宽度。由于 CSPGLayer 已具有全局环境信息获取能力，因此本研究骨干网络末端不再用单独的 SPPF 层来融合环境信息。同样用CSPGLayer 重新构建 PANet，在输出特征图中融合不同尺度的特征，结构如图 3 d。用重新设计的骨干网络和PANet 构建目标检测网络，结构如图 3e，其中目标检测头则用与 YOLOv8 相同的解耦检测头（decoupled head，DH）。DH 基于网络输出的不同尺度特征，实现果实目标位置及类型的预测。

目标检测模型损失函数优化：用对标注工作更具鲁棒性的智慧 IoU（wise IoU，WIoU）作为 BBR 损失，以期提高模型泛化性能，优化边界框回归损失，降低标注误差对模型的干扰。

超深掩蔽处理：动态滤除远景干扰

本研究直接用单目深度估计模型（depth anything model，DAM），估计相机获取的视频帧图像 I 对应的深度信息D∗=DAM(I) ，D∗为与 I 逐像素对应的逆向深度图（视差空间表示），进一步用视差空间的逆变换，将转变为正常的相对深度图 D。

由于 DAM 预测的 D 为相对深度图，仅表达场景中目标物的相对远近，相同的相对深度值在不同的图像间不具有可比性，因此本研究的深度阈值ω不采用固定值，而是分别根据每帧图像的深度值分布，动态计算其对应的ω。

BoT-SORT跟踪算法：稳定计数不遗漏

温室光环境复杂，巡检过程中目标反复遮挡现象严重，相机的非匀速不规则运动，也会增加目标跟踪难度。

BoT-SORT 在建立帧间目标关联时，同时考虑了目标预测框的尺度特征和表观特征，并引入相机运动补偿，克服了相机运动对尺度特征的影响，具有更好的跟踪鲁棒性。因此本研究基于 BoT-SORT 算法，设计果实目标跟踪计数器，以实现对超深掩蔽处理后的不同成熟度番茄果实计数。

二、Coovally AI模型训练与应用平台

你是否也想要使用模型进行训练或改进，Coovally——新一代AI开发平台，为研究者和产业开发者提供极简高效的AI训练与优化体验！

千款模型+海量数据，开箱即用！

平台汇聚国内外开源社区超1000+热门模型，包含YOLOv8、Transformer、ResNet等模型。同时还集成300+公开数据集，涵盖图像分类、目标检测、语义分割等任务类型，一键下载即可投入训练，彻底告别“找模型、配环境、改代码”的繁琐流程！

无需代码，训练结果即时可见！

在Coovally平台上，上传数据集、选择模型、启动训练无需代码操作，训练结果实时可视化，准确率、损失曲线、预测效果一目了然。无需等待，结果即训即看，助你快速验证算法性能！

！！点击下方链接，立即体验Coovally！！

平台链接：https://www.coovally.com

无论你是算法新手还是资深工程师，Coovally以极简操作与强大生态，助你跳过技术鸿沟，专注创新与落地。访问官网，开启你的零代码AI开发之旅！

三、实验结果

目标检测模型比较

本研究目标检测模型 YOLOT 基于 YOLOv8 进行优化设计，为验证模型改进的有效性，与相同超参数配置的YOLOv8n，同时与常用的目标检测模型 Faster R-CNN、SSD、轻量级模型 YOLOv9c 和 YOLOv10n进行比较。采用番茄果实目标检测数据集训练并测试各模型，结果如表 1。

YOLOT的mAP50达91.0%，召回率90.2%，显著优于YOLOv8n、Faster R-CNN等模型。轻量化设计使其更适合边缘设备部署，为实时监测提供可能。

消融试验

为进一步验证特征提取模块 GAInvolution 算子和目标检测网络设计的有效性，以及 WIoU 引入对番茄目标检测任务的适用性，开展模型消融试验。

计数精度验证

将 YOLOT 检测器、基于 DAM 的超深掩蔽处理和基于 BoT-SORT 的番茄果实计数器，按图 1 所示技术框架组合起来后，构成本研究番茄果实计数方法，在视频集合上开展计数试验，验证方法的有效性。方法执行中，针对每帧图像 I，通过 DAM 预测深度图 D，其中在用式（8）计算深度阈值时，需确定调节参数的取值。为寻找适宜的值，为其设置多组离散的正负较小值，用于的计算。分别测试不同值下，本文方法在上的计数性能，用以确定适宜的值。同时为验证超深掩蔽的有效性，也开展不启用该处理的计数试验。结果见表 3。