曲叶矛榈生长于潮湿的热带雨林,是保护亚马逊生物群落的基础,调节雨林的新热带湿地,可生产富含蛋白质、脂肪、维生素和碳水化合物的棕榈果实。由于难以进入这些茂密的雨林,遥感方法成为其生长评估的重要技术手段。为了实现对亚马逊曲叶矛榈果实成熟状态的识别,本研究采用配备多光谱相机的无人机在60 m高度上采集一个棕榈物候期内的可见/近红外图像,与冠层水平上的反射状态进行相关性分析。基于Mask R-CNN深度学习算法自动分割并识别感兴趣区域( RoI ),并基于25个VIs和图像提取的特征,形成一个二分类的数据集(绿色类GC和成熟类MC)来训练7种有监督的ML模型来预测果实的成熟状态,包括RF、SVM、KNN、NB、LR、ADB和ETC。对于果实成熟度的估计,还采用了CNN模型进行训练,并创建三个新的数据集(每个数据集中GC与MC各50个)以验证训练后的CNN模型。此外,还以三种不同的特征组合使用ANN模型进行了果实成熟度的预测。研究结果表明:
(1)冠层反射率与果实成熟期呈显著相关。在25个指数中,NRBDI与RBGVI指数与时间变量之间呈中等相关性,GNDVI、RGVI、MGRVI、RG、RVI、NIRG、NB、RGBVI、NGRVI和GRAPH呈低相关性,GRVI与VARI呈低负相关性。其他特征,如NDVI,表现出较低的线性相关性。
(2)使用CNN进行分类的结果并不准确。CNN训练模型损失曲线呈下降趋势,表明误差随着训练的进行而减小;但准确率曲线出现波动,说明分类结果不一致;训练后的CNN模型在三个新的数据集上的分类准确率分别为53%、54%和48%,为中等精度,仍有改进空间。
(3)ML模型训练的结果显示,仅使用25个VIs进行训练时,线性回归(LR)模型表现最好,准确率为70%;仅使用从图像中提取的50个特征进行训练时,朴素贝叶斯(Naibes Bayes,NB)模型性能最好,但准确率仅有57%;ANN模型的训练结果显示,当采用VIs与从图像中提取的特征组合进行预测时,准确率高达72%。
图3 系统架构。B1,获取多光谱图像,包括5个波段的( R、G、B、RE、NIR)以及RGB图像;B2,使用手掌识别模型从每个波段中分割和提取感兴趣区域( RoI );B3,对每个特征进行时间变异性分析和建模,了解它们的响应以及与果实成熟期的相关性,到的数据是结构化的,并且有适当的标签;B4,训练、验证和测试通过相关性识别果实成熟期的ML模型;B5,使用ML模型进行分割步骤,对RoI进行特征提取,并通过与冠层反射率的关联来估计果实成熟度。
图5 CNN架构示意图。
图8 Pearson相关性热图。25个VIs和图像特征(平均向量)与时间变量之间的关系。相关性的强度由地图右侧的颜色条表示。
图12 CNN模型训练和验证的损失和准确率曲线。左图表示损失曲线,随着epoc增加,训练数据和验证数据的损失都呈下降趋势;右图为精度曲线。
图13 用25个VIs训练的7个ML模型的ROC曲线。
图14 ANN模型得到的ROC曲线。(左)基于图像特征;(中)基于VIs;(右)VI和图像特征组合。
文献来源:Marin, W.; Mondragon, I.F.; Colorado, J.D. Aerial Identification of Fruit Maturity in Amazonian Palms via Plant-Canopy Modeling. Remote Sens. 2023, 15, 3752. https://doi.org/ 10.3390/rs15153752