基于图像的植物表型一直在稳步增长,这急剧增加了对需要能够评估多种植物性状的更有效图像分析技术的需求。深度学习已经在植物表型的许多视觉任务中显示出它的潜力,例如分割和计数。本文展示了如何使用多任务学习(MTL)从植物图像中同时提取不同的表型性状。MTL利用包含在相关任务的训练图像中的信息来改善整体泛化并学习带有较少标签的模型。本文作者提出了一种用于植物表型的多任务深度学习框架,该框架能够同时推断出三个特征:(i)叶数,(ii)投影叶面积(PLA)和(iii)基因型分类。作者采用一个改进的预训练ResNet50作为特征提取器,对其进行端到端的训练以预测多个性状。还利用MTL表明,通过学习更容易获得的注释(如PLA和基因型),可以预测更好的叶数(更难获得注释)。作者在几个公开的拟南芥顶视图图像数据集上评估了此发现。
多任务学习(MTL)模型示意图
模型的详细架构
使用滑动窗口显示网络焦点的测试
实验结果表明,与同一数据集上的单个任务网络相比,所提出的MTL方法将叶子计数均方误差(MSE)提高了40%以上。还表明,本文的MTL框架可以在不显著影响性能的情况下,使用最多减少75%的叶数注释进行训练,而当可用注释减少时,单个任务模型显示出稳定的下降。
代码获取路径https://github.com/andobrescu/Multi_task_plant_phenotyping
来源:Front. Plant Sci.Doing More With Less: A Multitask Deep Learning Approach in Plant Phenotyping.Andrei Dobrescu, Mario Valerio Giuffrida and Sotirios A. Tsaftaris.https://doi.org/10.3389/fpls.2020.00141