植物结构如株高、叶片或分支角度、叶片大小以及节间长度等,影响着对光的截留,从而影响植物光合作用与生产力。植物结构的变化可以反映植物面临的胁迫情况,例如节间长度的变化与干旱、盐胁迫有关。简单的表型性状可以从2D图像中测量,但节间长度、分支角度等复杂性状则需要使用3D数据。
本研究以黄瓜为例(含弯曲株和直立株),基于激光三角测量,使用Phenospex PlantEye F500采集了10天的3D数据,该多光谱3D扫描仪还为点云中的每个点提供了光谱信息。同时,每天多次采集2D图像,获得一个包含9990张图像的数据集。基于YOLO-v3深度学习对象检测算法在单个2D图像中检测节点,使用亲和力传播聚类算法对同一节点的多次检测进行合并,获得每个节点只出现一次的节点位置列表并按照在茎上的位置进行排序以估计2D节间长度(节间长度为两个连续节点之间的欧氏距离)。从3D点云估计节间长度的方法分为三个步骤:(1)基于深度神经网络 PointNet++将 3D 点云分割成植物部分;(2)从分割的点云中检测节点,使用HDBSCAN聚类算法对节点进行聚类;(3)节间长度估计。结果显示,使用3D点云代替2D图像,可以以与直立植株相同的精度来估计弯曲植株的节间长度;从3D点云估计的节间长度误差小于从2D图像估计的节间长度误差,使用3D 点云估计节间长度的精度更高。但基于2D图像的节点检出率更高,因此建议综合利用2D图像和3D点云的优势。总之,本研究证实了基于3D点云与计算机视觉技术结合进行植物结构尤其是节间长度测量的可行性。
图1 黄瓜植株三个节点示意图,含两个节间。
图2 实验装置示意图。植株生长在2个植物水槽( A、B)上,每个水槽含6株植物( 1 ~ 6株)。将弯曲植株A2、A3和B5分别称为离群植株4、5和8。六个视点(Ⅰ-Ⅵ)在图的右上角部分放大显示。
图5 数据获取的第一天(左)和最后一天(右)人工标注点云的实例。图中颜色代表图例中指定的类别,黑色方块表示点云的放大部分。
图9 人工测量的节点间长度(x轴)与估计的节点间长度(y轴)拟合图。左图为基于2D的结果,右图为基于3D点云的结果。直立植株的节点用蓝色圆圈表示,弯曲植株的节点用红色三角形表示。虚线表示函数x = y,表示估计的节点间长度等于人工测量值的位置。
图10 基于2D和3D数据预测直立和弯曲植株节间长度的绝对误差( mm )。框表示下四分位数和上四分位数,须表示1.5倍四分位数间距内的最高和最低绝对误差。超出此范围的值被认为是异常值,并显示为“+”。显著性水平 “n.s. ”表示没有观察到显著性差异, “***”表示在p < 0.001的情况下观察到显著性差异。
文献来源:Frans P B, Eldert J, Gert K. The added value of 3D point clouds for digital plant phenotyping –A case study on internode length measurements in cucumber. Biosystems Engineering, 2023, 234:1-12.