杨会君教授团队在植物表型自动三维重建研究取得新进展

近日，西北农林科技大学杨会君教授团队在复杂结构植株表型自动三维重建研究取得新进展，研究成果以《Research on automatic 3d reconstruction of plant phenotype based on multi-view images》为题发表于国际权威刊物《 Computers and Electronics in Agriculture》（中科院1区Top）。西北农林科技大学杨丹妮为第一作者，杨会君教授为通讯作者，西北农林科技大学为第一单位，深圳市农业科技促进中心为第二单位。

该成果提出了一种基于多尺度卷积注意(MSCA)和十字窗变换(CSWT)的高效语义分割结构MCAT-UNet。传统的卷积神经网络和Transformer被广泛用于遥感图像的语义特征提取，但前者在建模长距离空间依赖信息方面不可避免地存在局限性，而后者缺乏学习局部语义特征的能力。现有的遥感图像分割方法是基于自然图像处理中使用的主干网络进行优化和修改的。尽管取得了相对较好的结果，但其网络结构的复杂性导致计算成本高，且在精度上的改进有限。这些方法在复杂环境中对地面物体的边界区分能力有限，特别是对小目标而言。

该成果提出了一种植株多视角图像采集自动化与分割方法。利用树莓派、HQcamera和工业镜头构建高清树莓派相机，并结合电动转盘和USB-TTL等硬件，搭建低成本、便携的图像自动化采集装置。采集程序在树莓派相机端运行，可实现相邻图像80%~90%重叠的均匀采集，并通过SSH通信协议提高了图像传输效率。同时，为解决传统图像分割算法出现的植物边缘丢失和背景阴影去除不净等问题，本文引入U²-net模型，训练出准确率为99%的高精度白菜薹和芥兰植株图像分割模型，保障了后续植株三维点云重建的质量。

该成果提出了一种植株高质量三维点云获取方法。为解决传统方法在重建复杂结构植株时提取细节特征不足导致点云重建失败和质量低的问题，本文基于OpenMVG采用AKAZE特征提取方法，充分捕捉植物结构的细节特征。同时，通过张正友标定法计算树莓派相机的内参数和畸变系数，提供准确的初始参数，优化植物三维重建点云算法，实验表明本算法在平均投影误差等各项指标表现均优于现有的运动恢复结构算法，为植物表型研究提供更可靠的数据基础。

该成果提出一种植株点云尺度恢复和精度评估方法。为解决传统植株点云处理方法无法在保留整体特征的同时去除噪点并确保尺寸一致的问题，本文设计一种融合颜色滤波与欧式聚类算法的点云去噪方法，有效去除噪点提升点云质量。并提出基于先验信息的点云尺度恢复方法，有效确保点云数据与原始植株的一致性，使得株高株幅等性状的点云测量值和实际值的相关系数(R^2)均大于0.99,均方根误差低至0.298cm。另外，提出综合考虑点云模型精度和表型测量精度的评价机制，为植物表型后续研究提供更全面的数据支持。

该成果设计了一个完整、高效、自动化的植物表型三维重建工作流程。首先，本文整合了树莓派相机等硬件设备设计一个植株图像采集装置，实现自动化的图像采集和传输。其次，将植株图像采集、分割、三维点云重建、点云处理、尺度恢复、性状测量等关键算法与图像采集设备集成，构建一个完整的植物表型重建框架，为植物生长规律对比分析和多时序关键表型性状监测提供技术支持。

本研究得到陕西省重点研发计划基金（2023-YBNY-229,2024NC-YBXM-197）、大学生创新创业训练计划（202210712189）资助。

原文链接：

https://www.sciencedirect.com/science/article/pii/S0168169924002576