玉米果穗和花丝是反映玉米生殖发育、结实潜力与产量形成的重要器官。果穗长度、粗度以及花丝形态等性状是种质筛选和生长发育评价的重要指标，但在实际田间环境中，光照变化、叶片遮挡、茎秆交叠和复杂背景都会增加目标分割的难度；花丝本身细长、柔软、易缠绕，也给边界识别和连续结构提取带来挑战。传统人工测量耗时且存在主观差异，单纯依赖RGB图像又容易受到背景和外观变化干扰。如何有效结合图像语义信息与三维几何信息，实现稳定识别和定量测量，是田间高通量表型分析需要解决的问题。

2026年10月23日，北京科技大学现代农学院万向元教授团队联合北京信息科技大学机电工程学院张俊宁教授团队，在国际知名学术期刊 Computers and Electronics in Agriculture（IF：10.3） 在线发表了题为 Reliability-aware RGB-D instance segmentation for field-based 3D phenotyping of maize ears and silks 的研究论文。该研究面向复杂田间环境下玉米果穗与花丝表型精准获取的需求，开发了田间移动式表型检测平台，构建了田间RGB-D表型数据集，提出RGB主导、深度辅助的非对称实例分割网络，并结合不确定性感知自适应多模态融合（UAMF）和MambaLite2D全局上下文增强模块，实现玉米果穗与花丝的精细分割及三维表型性状自动提取，为田间玉米表型的高效获取与智能分析提供了技术支撑（图1）。

图1：面向玉米果穗与花丝的RGB-D表型分析总体流程

为获取真实田间环境下玉米果穗与花丝的多模态图像数据，研究团队搭建了集成Microsoft Azure Kinect DK RGB-D传感器和NVIDIA ORIN NX边缘计算单元的移动式采集平台。平台同步采集彩色图像与深度图，彩色图像分辨率为2560×1440、深度图分辨率为640×576，采集帧率为15 fps；同时通过传感器SDK将深度图配准至彩色图像坐标系，为构建多模态数据集及后续三维表型分析提供数据基础（图2）。

图2：玉米田间RGB-D图像采集平台

研究共采集并构建了1,156组对齐的RGB-D图像，其中抽丝期412组、成熟期410组、完熟期334组。图中展示了3个生育时期的代表性彩色图像及其对应深度图，反映了不同阶段玉米果穗与花丝在外观形态和深度分布上的差异（图3）。

图3：玉米不同生育时期的代表性RGB图像及其对应深度图

针对田间深度图容易出现噪声、空洞及局部失真的问题，研究团队构建了RGB主导、深度辅助的非对称双分支实例分割网络：RGB分支提取主要语义与纹理特征，轻量化深度分支补充几何信息，并在融合后引入MambaLite2D模块增强长距离上下文表征，以提高玉米果穗与细长花丝在复杂背景下的分割表现（图4）。

图4：可靠性导向RGB-D实例分割网络的整体结构

针对低质量深度信息可能干扰多模态特征融合的问题，研究团队设计了不确定性感知自适应多模态融合模块（UAMF），根据估计的深度置信度自适应调节深度特征对融合结果的贡献。消融实验显示，与直接RGB-D特征拼接基线相比，加入UAMF后整体mAP50由91.09%提升至92.81%，花丝mAP50由87.06%提升至90.40%，花丝召回率由82.24%提升至85.40%，表明该模块对花丝分割的改善更为明显（图5）。

图5：不确定性感知自适应多模态融合模块（UAMF）的结构示意

在三维表型测量方面，模型预测的实例掩膜用于约束有效深度点的提取。果穗长度根据主轴方向及端点修正进行估计，果穗宽度通过局部横截面测量与宽度优化获取；花丝长度则沿重建的可见花丝三维轨迹累加计算，而非简单测量两端点之间的直线距离。该方法将二维分割结果转化为果穗长度、果穗宽度及可见花丝长度等三维几何性状（图6）。

图6：利用实例分割结果约束玉米果穗与花丝的三维表型性状提取

验证集结果显示，所提出模型整体Precision、Recall、F1-score和mAP50分别为92.69%、88.18%、0.904和93.50%。相较RGB基线，整体mAP50提高3.39个百分点（90.11%→93.50%）；果穗mAP50由94.46%升至96.56%，花丝mAP50由85.75%升至90.44%，花丝Recall由78.90%升至84.17%。训练曲线显示模型损失逐渐下降并趋于稳定，验证集mAP50在大部分训练过程中高于基线（图7）。

图7：所提出模型与RGB基线模型的训练损失及验证集 mAP50 对比

在代表性样本中，系统自动测得果穗长度26.33 cm、果穗宽度6.53 cm和花丝长度9.61 cm，并根据分割掩膜内RGB像素的HSV特征描述花丝颜色，该样本的花丝颜色表现为红色。这里的果穗长度、宽度和花丝长度由配准深度信息及局部三维几何分析估计，花丝颜色则作为补充性表型描述（图8）。

图8：玉米果穗长度、果穗宽度及花丝长度的代表性自动测量结果

为评估自动测量结果的一致性，从验证集中选取60个样本，3个期各20个，并将RGB-D自动测量值与CloudCompare重建点云的参考测量值进行回归比较。3项性状合并分析的决定系数R²分别为：果穗长度0.82、果穗宽度0.68、花丝长度0.89。分生育时期统计，果穗长度RMSE分别为2.03、1.25和0.88 cm，果穗宽度RMSE分别为0.70、0.82和0.54 cm，花丝长度RMSE分别为1.20、1.39和0.76 cm（依次对应抽丝期、成熟期和完熟期）。需要说明，CloudCompare数值来自重建点云，因此该结果反映两种测量方法之间的一致性，而非与独立实物真值相比的绝对测量精度（图9）。

图9：RGB-D自动测量结果与CloudCompare点云参考值之间的回归及一致性分析

文章对RGB基线模型与所提出模型在抽丝期、成熟期和完熟期的代表性样本上进行了实例分割可视化对比。与RGB基线相比，所提出模型在这些样本中呈现出更完整的果穗与花丝掩膜，尤其对细长、易遮挡的花丝区域，漏分现象有所减少。该图提供的是代表性场景下的定性比较，进一步支持了定量分割指标所反映的性能差异（图10）。

图10：不同生育时期玉米果穗与花丝的实例分割结果对比

文章进一步采用Grad-CAM对RGB基线模型与所提出模型在不同生育时期的特征激活区域进行可视化。代表性结果显示，所提出模型在果穗与花丝目标区域的激活相对集中，而RGB基线模型在部分样本中对周围叶片及背景也产生较广泛的响应。该分析为理解模型的关注区域提供了定性依据，但Grad-CAM并不直接测量深度置信度，也不能单独证明某一模块对性能提升的因果贡献（图11）。

图11：不同生育时期RGB基线模型与所提出模型的Grad-CAM特征激活可视化对比

综上，本研究构建了1156组对齐RGB-D图像，并提出融合UAMF与MambaLite2D的可靠性导向分割方法。模型在验证集上的整体mAP50达到93.50%，较RGB基线提高3.39个百分点；果穗和花丝mAP50分别达到96.56%和90.44%。进一步结合目标掩膜与深度信息，实现果穗长度、宽度和可见花丝长度的三维自动测量，并以CloudCompare重建点云参考值开展一致性评估。因此，该方法在当前站点内验证条件下具有应用可行性，但其跨地块、跨基因型及复杂深度退化环境下的泛化能力仍需进一步验证。相关分析方法已获得计算机软件著作权证书（软件名称：玉米果穗与花丝三维表型分析软件V1.0；登记号：2026SR0911192；证书号： 软著登字第18125473号）。

北京科技大学现代农学院万向元教授和田喜副教授、北京信息科技大学机电工程学院张俊宁教授为该文共同通讯作者，张俊宁教授为第一作者。该研究得到北京市科技新星计划的资助。

原文链接：https://doi.org/10.1016/j.compag.2026.112529