MUSES9-MS多光谱相机应用方向-灰霉病菌检测

   及早发现具有重要经济价值的植物的病害，如灰霉病菌引起的灰霉病，对于及时应用病害管理策略和减少对作物生产和环境的影响至关重要。本研究在受控环境下对黄瓜植株叶片进行了人工接种。利用多光谱成像技术，在 460、540、640、700、775 和 875 纳米波段，同时利用 RGB 和近红外（NIR）通道，捕捉真菌的光谱响应。从收集到的多光谱图像中创建了两个注释图像数据集，分别命名为 "Botrytis-detection "和 "Botrytis-classification"。在这两个数据集上进行了多项基于深度学习的分类和物体检测实验。分类结果表明，深度学习模型能以 0.93 的准确率（F1 分数 0.89）将两个类别区分开来。而物体检测的平均精度（mAP50）为 0.88，为今后在早期检测出灰霉病菌引起的灰霉病铺平了道路。

1.       说明

1.1.   病害

灰霉病菌（Botrytis cinerea）是一种坏死性真菌病原体，可感染 500 多种植物。这种病原体对农业部门产生了巨大的经济影响，每年给全球作物生产造成 100 多亿美元的损失。由于巨大的经济影响力以及频繁防治导致的环境影响，灰霉病菌被列为第二大植物病原体。灰霉病菌是一种通过空气传播的植物病原体，但它也可以通过水或土壤传播。低温、高湿度、空气流通差和树冠潮湿有利于灰霉病菌的感染。由于这些条件主要存在于受保护的环境中，因此温室中种植的作物比露天种植的作物感染的病害更严重。灰霉病的症状出现在植物的花、叶、茎和果实上，影响作物的生长和产量。由于灰霉病菌引起的症状与其他生物或非生物制剂引起的症状相似，因此仅凭目测症状无法检测和识别病原体，除非这些症状上出现真菌迹象（分生孢子梗和分生孢子）。一旦肉眼观察到灰霉病的症状（病斑、枯萎、腐烂和萎蔫），就可以主要使用传统的化学杀菌剂来控制灰霉病。由于早期症状更可能是非特异性的，而且变化很大，因此要确定可能的感染，应在目视检查后进行实验室检测，如分离和培养酶联免疫吸附试验（ELISA）、聚合酶链反应（PCR）和组织印迹分析等。然而，上述方法耗时耗力，成本也高。因此，必须及早发现灰霉病，以限制其蔓延，减少园艺中化学杀虫剂和有害杀虫剂的总体使用量。

1.2.   光谱成像技术

事实证明，光谱成像是一种创新技术，在表型分析和非侵入式感知作物生理状态方面潜力巨大，有助于植物病害检测。最近的一项研究表明，近红外光谱是区分受感染的叶片区域最有参考价值的光谱范围。

1.3.   文献综述

近年来，机器学习和深度学习方法在植物真菌病害的检测中得到了广泛应用，提供了一种具有高精确度结果的强大工具。Sanchez 等人（2020 年）使用 K 近邻算法、支持向量机、随机森林和人工神经网络等机器学习技术，以及高斯滤波器和形态学运算来提取图像特征，从而对石榴的灰霉病进行识别和分类。结果显示，拟议方法的准确率为 96%。Qasrawi 等人（2021 年）对机器学习模型进行了训练，以对番茄植物病害（包括 B.cinerea）进行聚类、预测和分类，神经网络和逻辑回归模型的准确率分别达到了 70.3% 和 68.9%。Jung 等人（2022 年）的研究使用了接种了灰霉病菌的草莓叶片的高光谱图像（150 个波段），并利用二维和三维卷积神经网络 (CNN) 将其分为感染区、无症状区和健康区，准确率分别为 74% 和 84%。

尽管已对许多蔬菜作物上的黑穗病所引起的症状进行了研究，但在利用深度学习结合光谱成像检测黄瓜植株上的黑穗病所引起的早期症状方面还缺乏研究。不过，上述植物在其他真菌病害方面的研究也取得了可喜的成果。Fernandez 等人（2021 年）利用黄瓜植株上的多光谱图像检测白粉病（Podosphaera xanthii）。Mia 等人（2021 年） 对感染了多种病害（霜霉病、白粉病、马赛克病毒、腹腐病、疮痂病和棉花漏）的黄瓜植株使用了传统的 RGB 成像技术，深度学习的准确率达到了 93.23%。

1.4.   贡献

在本研究中，我们旨在利用深度学习模型研究多光谱成像在检测黄瓜植株中的灰霉病方面的实用性。本文有三方面的贡献，目的是：i) 建立一个多光谱图像数据集，用于检测（边界框）灰霉病感染植物和健康植物的叶片并进行分类，以作为训练和标杆；ii) 进行灰霉病的检测和分类实验，并提出最合适的方法；iii) 检验近红外光谱对灰霉病识别的有用性，并确定可用光谱中最有影响力的波段。本文结构如下。第 2 节介绍了数据集的获取、标记和图像统计。第 3 节介绍实验结果。第 4 节为研究结论。

2.       数据集

2.1.   实验设置

为了收集数据，对健康的黄瓜植株进行了灰霉病人工接种。本实验使用了在马铃薯葡萄糖琼脂上常规培养的灰霉病菌分离株。植物病原真菌的接种物来自在 23°C 生长 3 周的培养物。为了制备接种体，使用灭菌菌环从孢子培养物中获取孢子，并将其悬浮在 5 毫升添加了葡萄糖（4% w/v）的去离子水中。然后用消毒纱布过滤悬浮液以去除菌丝，并用血细胞计数器测量孢子浓度。将孢子悬浮液稀释至1*10⁵个孢子/毫升的浓度。

四株黄瓜盆栽播种后在植物生长室的可控条件下生长（25°C，68% 湿度，16 小时光照—8 小时黑暗，光源：GRO-LUX LED 全光谱灯）并进行人工接种，另外四株相同的黄瓜盆栽作为对照样本。在每株植物的两片叶子上，用无菌吸管尖划伤表皮，产生两个直径约 0.5 厘米的表皮病变。随后，在每个病变体上滴两滴液体接种体（每滴 10 微升）。接种后的植物用黑色塑料袋覆盖，以保持湿度，为真菌感染提供理想的条件。

2.2.   数据采集

对于蔬菜作物来说，成像信息量最大的波长范围是可见光范围（红、绿、蓝：RGB）和近红外（NIR）范围。显然，RGB 波段（400-700 纳米）能更好地捕捉叶片色素的变化，而近红外波段（700-1300 纳米）则能反映叶肉细胞结构的变化。为了捕捉多光谱图像，我们使用了MUSES9-MS相机，调谐波长为460、540、640、700、775和875nm，包括可见光谱和近红外光谱，分辨率为3096×2080像素。 

数据采集从人工接种后（时间点 0）开始，连续进行五天。接种后 72 小时，农艺师目测接种叶片上的真菌感染症状。多光谱成像技术用于捕捉灰霉病的早期症状。第一张图片是在接种灰霉病菌的当天拍摄的，随后连续五天在 12:00 时，在人工和自然光下重复拍摄。目的是获得多光谱照相机能检测到但肉眼难以发现的真菌早期症状的数据。图1和图2显示了各个光谱的示例。拍摄到的图像包括单株植物，清晰地描绘了它们的所有叶片。此外，还采集了植物群的图像，以模拟现实条件。这样，就可以模拟实地条件，从而使结果可以在实验室条件之外使用。

图1：黄瓜植株接种 4 天后的六个不同光谱波段（460、540、640、700、775、875）以及边界框注释。

绿色：健康叶片，紫色：灰霉病叶片。

图2：灰霉病菌分类数据集中感染灰霉病菌 4 天后的黄瓜叶片的六个不同光谱带（460、540、640、700、775 和 875）。

2.3.   数据注释

收集到的 121 幅图像（98幅有症状的植物图像和 23幅健康植物图像）已用方框标注，方框内的叶片分为两类：感染灰霉病的叶片和作为对照的健康叶片。为此，我们使用了基于 YOLOv5 实现的自定义叶片检测器，并在 PlantDoc 数据集上进行了训练。自定义树叶检测器对收集到的图像中的大部分树叶进行了标注。之后，农学家通过添加缺失的边界框和完善现有的边界框来修改注释。此外，农艺师还为每片标注的叶片贴上正确的标签：感染或健康的叶片。由此产生的边界框以及随后的叶片数量为 580 片；138 片感染了 B. cinerea 的叶片和 442 片健康叶片（来自接种和未接种的植物）。

2.4.   创建数据集

根据收集到的多光谱图像创建了两个数据集。第一个数据集是灰霉病检测数据集，包括边界框注释，对应于健康叶片和受灰霉病感染叶片的检测（见图 1）。第二种是灰霉病分类，相当于将叶片分为两类：感染了灰霉病的叶片和健康的叶片（见图 2）。后者是通过裁剪前者的每个边框并将其保存为单独图像而生成的。这两个数据集都分为训练-测试两部分，其中测试集由包含一种特定受感染黄瓜植物的所有图像组成。这一选择是为了训练出尽可能无偏的模型，使其能够泛化到未见过的数据中。表1列出了两个数据集中的图像数量，其中还报告了感染灰霉病的叶片和健康叶片的数量。最后两列表示每个类别中边界框的数量和裁剪图像的数量。

表1：灰霉病检测数据集和灰霉病分类数据集的各分集图数量

3.       实验评估

3.1.   标杆实验

为了全面评估创建的灰霉病数据集，首先利用 CNN 评估了灰霉病分类数据集的分类性能。随后，在带有边界框注释的灰霉病检测数据集中对最先进的物体检测模型进行了评估。分类实验的目的是确定哪种波长组合最有信息量，以便利用从分类实验中提取的知识进一步开展重点检测实验。

3.2.   评估标准

在分类任务中，F1 分数是比较模型结果的主要指标。为深入了解情况，还报告了准确率、回归率和精确率。准确度通常描述了模型在所有类别中的表现。精确度衡量模型仅识别相关对象的能力，而回归率衡量模型找到所有相关情况（所有地面真实边界框）的能力。F1 分数综合了精确度和回归率两个指标，因此更加全面。

至于物体检测任务，则采用了 COCO 检测指标，这是一种更为全面和通用的检测指标。使用的度量指标包括：，

3.3.   数据增强

根据 Krizhevsky 等人（2012 年）的研究，当数据集中的图像数量不足时，有必要进行数据扩增，以便模型能更好地泛化。我们使用了几种技术，人为地扩大了所创建数据集中的图像数量。就灰霉病分类数据集而言，这些技术包括几何变换（水平翻转、缩放、平移）。此外，在灰霉病数据集中还使用了马赛克增强技术，该技术可在遮挡（物体隐藏在另一个物体后面）或平移的情况下改进模型。这些技术只用于训练，而不用于评估。

3.4.   分类结果

在分类任务中，使用了多个深度学习分类模型，包括 这些模型包括：AlexNet、DenseNet-121、EfficientNet B0 和 B1、GoogLeNet、MobileNet v3 small、ResNet-18、ResNet-34 和 ResNet-50、VGG-11 和 VGG-11 with Batch Normalization (BN)。目标是为每种波长组合找到最佳架构。

所有网络都在 ImageNet 上进行了预训练，并在灰霉病分类数据集上进行了微调。每个模型的所有层都通过随机梯度下降优化器（Stochastic Gradient Descent optimizer）进行了微调，批量大小为16，历时100次。权重衰减和动量参数分别设置为0.0001和0.9。输入图像的大小固定为224×224。分类实验使用PyTorch实现，并在配备8GB板载内存的英伟达RTX 3070 Ti GPU上执行。

表2显示了模型在不同评价指标上的分类性能。仅报告了三波长的结果。表2显示了模型在不同评价指标上的分类性能。此外，还对所有六种波长以及 PCA 转换后的波长（从6 到3）进行了实验，但结果远远不能使用。

表2：灰霉病分类结果

*：粗体行表示 F1 分数最高的试验。

就所有评估指标而言，RGB和近红外波长的性能完全相同。然而，波长为875nm、460nm 和640nm的波长组合优于所有其他光谱，F1得分为0.888，是实验中观察到的最高分。后者的回归率也是最高的，而回归率是识别灰霉病的重点。在识别病害的情况下，将健康叶片误判为感染了灰霉病（以精确度衡量）并不那么重要。不过，为了平衡精确度和回归率之间的平衡，F1 分数更为可取。值得注意的是，除 RGB 和近红外波长外，F1-分数最高的前五个模型都包含 875 nm 波长，这似乎提高了模型的回归率，从而提高了检测灰霉病菌的能力。除了波长为 460、540 和 700 nm 的通道外，波长为 875 nm 的通道出现在所有评级最高的回归率中。关于性能最佳模型的结构，带有 BN 的 VGG-11 似乎是最主要的结构，无论输入是什么，它都具有很高的泛化能力。

3.5.   检测结果

对于物体检测任务，我们采用了先进深度学习检测器，并在灰霉菌检测数据集上进行了评估： YOLOv5和YOLOv7都是实时的，计算成本较低。YOLOv5选择CSP-Darknet53作为CNN骨干，YOLOv7选择 E-ELAN作为CNN骨干。每个模型都使用随机梯度下降优化器进行训练，批量大小为8。学习率设定为0.001。权重衰减和动量参数分别设置为0.0001和0.937。输入图像的大小固定为1024×1024。检测实验基于PyTorch对YOLOv5和YOLOv7进行，在英伟达RTX 3070 Ti GPU上进行的。

检测结果如表3所示。需要注意的是，YOLOv5使用的是中型模型（YOLOv5m），在给定的设置中，与 YOLOv5的其他变体相比，YOLOv5m的性能更好。至于 YOLOv7，使用的是YOLOv7-E6E，其性能优于同类的所有其他型号，在所有波长上都有较高的指标。

表3：灰霉病检测结果

在疾病检测场景中，重要的指标是mAP50，其次是回归率。回归率指标显示了模型检测受灰霉病感染叶片的能力。从结果中可以看出，460、640和875nm组合的mAP50最高。不过，要在mAP50和回归率之间进行良好权衡，460、775和875nm的组合似乎与的表现类似，但回归率明显更高（0.857；就mAP50而言，比表现最好的模型高出0.125）。因此，具有最高回归率的后一种模型具有更强的检测灰霉菌的能力，但却会将健康的叶片误判为感染了灰霉菌。此外，将部分 RGB 波段与一个或两个近红外波段相结合似乎能提高模型的性能，而仅使用 RGB 或仅使用近红外波段则性能较低。因此，875 nm 波长对于实现高指标和准确检测灰霉病至关重要。

4.       结论

在本研究中，利用多光谱图像进行了深度学习实验，以对黄瓜叶片上的灰霉菌进行分类和检测。根据我们的研究结果，将近红外光谱与部分 RGB 通道相结合，可以显著提高模型检测感染了灰霉病的叶片的能力，这是因为健康叶片和受感染叶片的反射率反差较大。更确切地说，波长为 875 nm 的红外光谱是取得最佳结果的关键。初步分类实验表明，深度学习模型能以 0.89 的 F1 分数区分受感染的叶片。进一步的实验表明，目前最先进的物体检测模型可以检测出感染黑叶病的叶片，检测结果为 mAP50=0.88。我们相信，这项工作将有助于未来的灰霉病识别研究，以支持现场的高效监测方法，从而根据从农场到餐桌的战略进行早期检测和控制。

摘自：Deep learning-based multi-spectral identification of grey mould：Nikolaos Giakoumoglou, Eleftheria Maria Pechlivani , Athanasios Sakelliou,Christos Klaridopoulos,