用卷积神经网络和迁移学习方法识别单倍体和二倍体玉米种子_玉米单倍体分选仪

摘要

玉米是世界上种植的最重要的谷物之一。双单倍体技术缩短了育种周期，提高了育种效率，是先进玉米育种、现代作物改良和遗传工程中的一项重要技术。然而，单倍体种子的选择是该育种技术的主要问题。这一过程通常是手动进行的，这种不可靠的情况会导致时间和人力的损失。受最近深度迁移学习的成功启发，本研究将这一问题作为一个计算机视觉任务来处理，以提供一个无损、快速和低成本的模型。为了实现这一目标，我们采用卷积神经网络(CNNS)通过迁移学习的方法自动识别单倍体和二倍体玉米种子。更具体地说，AlexNet、VVGNet、GoogLeNet和ResNet被应用于这一特定任务。实验研究是在一个由1230张单倍体玉米种子图像和1770张二倍体玉米种子图像组成的新数据集上进行的。通过标记辅助选择(称为R1-NJ花青素标记)对数据集中的样品进行分类。为了衡量CNN模型的成功，我们使用了几个性能指标，如准确性、敏感性、特异性、质量指数和从混淆矩阵和接收者操作特征曲线得出的F分数。根据实验结果，CNN模型保证了令人满意的结果，并且我们通过VGG-19获得了最有效的结果。VGG-19诊断的准确性为94.22%，敏感性为94.58%，特异性为93.97%，质量指数为94.27%，F评分为93.07%。实验结果证明，细胞神经网络模型可以作为识别单倍体玉米种子的有效工具。此外，我们得出结论，该方法明显优于基于机器学习的方法和传统的人工选择方法。

介绍

玉米(Zea Mays L.)。是作为人类食品、动物饲料和工业原料使用的最重要的农产品之一(Cerit等人，2016年)。不断增长的世界人口和气候变化使得有必要开发新的玉米品种，这些品种像所有其他栽培植物一样高产，耐生物和非生物胁迫条件。只有通过玉米育种计划才能实现这一目标。玉米育种计划的第一阶段是培育纯合子品系，这些品系将成为杂交品种的亲本(Cerit等人，2016年)。通常，获得纯合子系需要很长的时间，通过常规方法大约需要五到八代的自交交配，而通过利用单倍体，这个过程可以在一年内大约两到三代完成(Prasanna等人，2012年)。单倍体和加倍单倍体在现代玉米育种中具有重要意义，因为这项技术加快了育种周期，提高了育种效率(Chase和Nanda，1969)。在过去的20年里，DH的这些优势使人们对玉米育种和遗传学产生了越来越大的兴趣(Geiger，2009)。

DH是通过将单倍体染色体加倍而产生的完全纯合系(Prasanna等人，2012年)。单倍体在自然界中被发现的频率非常低，只有0.1%(Geiger等人，2013年)；因此，它们不适合实际使用(Charity等人，2017年)。单倍体可以通过体外或体内技术以较高的比率获得。大多数商品化的DH玉米品系是通过活体单倍体技术获得的，而据报道，其他技术在DH品系的培育中效果较差(Geiger，2009)。活体母体单倍体诱导使用特殊的基因型，称为诱导剂，作为传粉者以更高的比率获得单倍体，并已成为标准方法(Charity等人，2017年)。目前在可用诱导剂中，观察到水解率约为8%或更高(Melchinger等人，2014年)。在体内母体单倍体诱导包括四个阶段：(I)单倍体诱导，(Ii)单倍体鉴定，(Iii)染色体加倍和(Iv)自花授粉产生最终的DH系。

在染色体加倍前的诱导种子中，由于染色体加倍只使用单倍体，因此需要将单倍体从二倍体中分离出来，单倍体所占比例较小。这一现实强调了快速准确地选择单倍体种子的重要性(Geiger等人，2013年)。虽然也有其他选择标记，如胚重(Smelser等人，2014)、含油量(Melchinger等人，2014)和红根(Chaikam等人，2016)之间的差异，但最常用和成功使用的选择标记是R1-Navajo(R1-NJ)(Nanda和Chase，1966)。显性R1-NJ基因表达导致糊粉和盾片因花青素色素沉着而呈紫色(Melchinger等人，2014年)。R1-NJ在胚乳和胚乳中的表达水平不同，可以对单倍体和二倍体玉米种子进行直观分类，如图1所示。胚乳和胚乳上都有红紫色的种子被称为二倍体。由于这些二倍体同时含有源基因型和诱导系的染色体，所以它们有n-2条染色体。虽然R1-NJ染色发生在胚乳上，但带有无色胚的种子被称为单倍体。从基因上讲，这些种子只携带供体植物的染色体，只有一条n染色体(Geiger，2009)。基于R1-NJ标记基因表达的单倍体和二倍体种子的选择对大多数齿状种质都很有效(Melchinger等人，2014年)。尽管如此，R1-NJ的表达从一个小点到整个种子都是不同的。此外，R1-NJ表达的暗度由非常亮变为暗。R1-NJ表达的这种多样性导致了传统人工选择的高错误率。此外，人工选择单倍体是一个需要时间的劳动密集型过程。因此，需要一种自动进行单倍体种子鉴定的系统(Melchinger等人，2013年)。

设计了一套玉米单倍体种子分选系统，该系统由种子传输、图像采集与处理、分选卸载和系统控制单元组成。考虑到玉米胚芽和胚乳顶端的颜色特征，实现了这一具体过程。该系统实现了每分钟500粒种子的分拣速度(Song等人，2010年)。

根据核磁共振(NMR)分析仪测定的玉米种子含油率，提出了一种基于最小二乘误差的玉米单倍体与二倍体种子分离方法。根据模型的结果，最小二乘法可以在较少样本数的情况下快速确定单倍体和二倍体的含油量阈值(Li等，2016)。

作为一种模式识别方法，支持向量机(SVM)和可见光光谱(VIS)被用于玉米单倍体种子的识别。在一个平衡数据集上进行了实验，该数据集包括来自9个基因型的141个单倍体和141个杂交种。作者报告了有希望的结果(Liu等人，2015年)。

提出了一种结合近红外光谱技术和有监督的虚拟样本核局部性保持投影(SVSKLPP)从杂交种子中分离单倍体种子的方法(L.Yu等人，2018年)。该模型的非线性结构保证了较强的分类性能，且优于主成分分析、正交线性判别分析、局部保持投影等线性方法。

在另一项工作中，利用从胚和胚乳区域提取的五个特征对单倍体和二倍体玉米种子进行了分类。这些特征被用来提供给支持向量机分类器。提出的模型的平均准确率为81.36%(Altuntaş等人，2018a，2018b)。

单倍体和二倍体玉米种子也已经使用从灰度共生矩阵获得的纹理特征进行了识别。这些特征被用作决策树(DT)、k近邻(KNN)和人工神经网络(ANN)分类器的输入。据报道，DT的分类效果最好，分类成功率为84.48%(Altuntaş等人，2018a，2018b)。

提出了一种基于胚乳颜色特征的自动分选系统，用于区分单倍体玉米种子和具有纳瓦霍标签的杂交种子(Song等人，2018年)。同样，一种使用近红外高光谱成像技术的新方法被引入，以克服当前自动单倍体鉴定的局限性，并确保对单倍体进行更灵敏的监测(Wang等人，2018年)。用所提出的基于荧光的方法对单倍体和二倍体玉米种子进行了分选。作者报告说，在使用的所有七种基因型中，建议的方法的准确率都超过80%(Boote等人，2016年)。

在对6个玉米基因型进行的另一项研究中，评估了第三方软件在通过多光谱成像区分单倍体和二倍体玉米种子方面的性能。利用DNA标记对供试种子进行标记确认。据报道，使用的大多数基因型的准确率超过50%(De La Fuente等人，2017年)。

最近，深度学习方法因其在实际应用中的成功而吸引了更多的关注(Salaken等人，2019年)。卷积神经网络(CNN)作为一种深度学习结构，是为了从图像、视频、文本或声音等多个数组形式的数据中学习特征而发展起来的(LeCun等人，2015年)。CNN模型在模式识别、图像分类、语音识别等众多实际应用中取得了巨大的成功。(Tajbakhsh等人，2016；H.Yu等人，2018；Yu等人，2017)。在CNN模型下有四个关键概念： local
connections, shared weights, pooling and the use of many layers。各种特征图包括输入数据的不同主题。在不同位置的单元之间共享权重倾向于在输入数据的不同部分中搜索相同的模式。池化层将语义相似的特征合并为一个，降低了表示的维度，防止了过度匹配(Yu等人，2017年)。由于深度学习算法的进步，已经引入了更深层次的模型，例如AlexNet(Krizhevsky等人，2012年)、VVGNet(Simonyan和Zisserman，2014)、GoogLeNet(Szegedy等人，2015)和ResNet(He等人，2016)。

本文介绍了一个包含1230张单倍体玉米种子图像和1770张二倍体玉米种子图像的新数据集。为了建立一个新的单倍体玉米种子识别模型，我们使用了CNN模型，即AlexNet、VVGNet、GoogLeNet和ResNet模型以及迁移学习方法。与传统的基于机器学习的方法相比，CNN模型在分类任务上取得了很好的结果。

论文的其余部分安排如下：数据集和方法在第二节介绍，实验结果和讨论在第三节介绍，最后在第四节给出结论。

2.材料及方法

2.1. 数据集的描述

本研究中使用的单倍体和二倍体玉米种子是在2017年夏天收获的，这是土耳其萨卡亚玉米研究所开展的一个更大项目的一部分，坐标为40度43分56度北纬30度22分40度。利用母本单倍体诱导子RWS/RWK76(Röber等人，2005年)与107个源基因型杂交产生了3000粒单倍体玉米种子和1770粒二倍体玉米种子，分别为1230个单倍体和1770个二倍体。源基因型在450-700(FAO)成熟期，属于黄凹型和糯型。基因型列表可以在补充材料中找到。选择种子以反映R1-NJ颜色标记的不同表达水平(亮-暗，密-少)

图像采集：建立了玉米种子成像系统。成像系统的天花板上安装了摄像头和足够数量的LED。所有种子均拍摄为20颗种子(4行5列)，每张图像中均有胚胎位，且彼此不接触。使用索尼SLT-A58数码相机和索尼SAL 100 mm f/2.8微距镜头拍摄图像。摄像头通过USB端口连接到电脑，第三方软件被用来捕捉图像。所有的图像都是在‘M’模式下拍摄的，100ISO，快门速度1/125s，光圈f/9，焦距150 mm，相机距离55 cm。图像格式为JPEG，分辨率为5456x3632像素。

种子分割：由于每幅图像包含20个玉米种子，作为第一个任务，首先将玉米种子从原始图像中分割出来。在这项任务中，研究了红色®、绿色(G)和蓝色(B)颜色通道中的玉米种子和原始图像中的背景颜色分布。图2显示了样本玉米种子的R、G和B颜色直方图。从直方图可以理解，B通道的140-160值范围似乎是分割过程的理想范围。在此范围内搜索合适的阈值。观察到部分胚胎在150阈值以下被分割为背景，尤其是在单倍体玉米种子中。此外，还观察到，在某些情况下，背景像素导致玉米种子周围的噪声超过150阈值。因此，根据经验将阈值调整为150。

根据方程式。(1)得到一幅二值图像，其中‘1’代表玉米种子，‘0’代表背景。蓝色分量小于阈值的每个像素被指定为玉米种子，其余像素为背景。

在该等式中，Pixeli j表示二进制图像的第i和第j个像素的值。Bij参数对应于原始图像的蓝色通道的ithand jth像素的值。

由于将一些胚胎像素作为背景进行阈值处理，因此对得到的二值图像进行了填充形态学处理。然后，采用9×9中值滤波对图像进行降噪处理。利用玉米种子的轮廓线计算边框。去除背景后，每个玉米种子都被存储为单独的图像。150张原始图像的大小为424MB，而3000张分割图像的大小为48.9MB。工艺步骤如图3所示。

图像大小调整：根据种子的大小，数据集中图像的分辨率从300x289像素到610x637像素不等。AlexNet的图片被调整为227x227像素的分辨率，其他CNN的图片则调整为224x224像素的分辨率。在此过程中，对图像的长边缘采用双三次插值方法。在图像的短边两侧添加了空白像素，以防止宽高比的失真。

**玉米种子标记：**由两位专家根据R1-NJ颜色标记器在图像采集过程前后的两个阶段对玉米种子进行标记。尽管对玉米种子的标记过程进行了严格的研究，但不应忽视的是，数据集中可能存在标记错误的种子。

2.2 卷积神经网络

CNN模型是一种深度学习体系结构，它由一组连续的层组成，例如卷积、池化、dropout和在体系结构中具有不同任务的全连接层。这些架构中最基本的层是卷积层，通过将每个节点连接到输入图像通道中空间连接的神经元的一个小子集来提供局部区分特征(Tajbakhsh等人，2016年)。连接权重在卷积层中的节点之间共享，以允许在整个输入通道中搜索相同的区别性特征。每组共享权重代表一个卷积核。以这种方式，具有n核的卷积层可以学习识别在生成的n个特征图中可见的n个局部判别特征。为了降低计算复杂度，防止过度拟合，并确保图像特征的层次化，每个卷积层序列后面都有一个池化层。池化层的主要任务是简化从特征图中获得的信息的空间维度。出于这一特殊目的，使用了平均池、L2范数池，尤其是最大池，因为它们速度快，收敛速度快(Traore等人，2018年)。CNN模型通常包括完全连接层，它需要一个数字向量作为输入，将每个数字连接到输出。通常，这是CNN流程中最后一个池化层之后。然而，完全连接层的数量可能会根据网络的架构而有所不同。最后，一个softmax或回归层被用来在CNN架构中产生所需的输出。在训练CNNs时，经常使用反向传播算法来最小化针对未知权值的代价函数，如下所示:

到目前为止，我们已经总结了CNN模型的常见结构。在这一节的其余部分，我们将对著名的CNN模型进行概述。
AlexNet是在ImageNet大规模视觉识别挑战(ilsvcrc -2012)中引入的具有开创性的深度CNN算法之一，其测试精度达到84.6%的前5名(Krizhevsky et al.， 2012)。AlexNet具有一个简单的体系结构，该体系结构由五个卷积层组成，其中一些层之后是整流线性单元（ReLU），范数和池化层，如图4所示。

VGG网络是被广泛使用的CNN模型之一。该模型的主要目的是研究卷积网络深度对大规模图像识别环境下卷积网络精度的影响。该模型有两个关键字：设计和深度。通过将深度推至16-19 层，模型得到了显著的改进(Simonyan和Zisserman, 2014)。VGG网络的体系结构如图5所示。

另一个值得注意的CNN深度模型是Szegedy等人在ILSVRC-2014挑战中引入的GoogLeNet (Szegedy et al.， 2015)。这个架构的最大标志是一个代号为“inception模块”的新块，它由一个快捷分支和一些更深的分支组成。inception模块确保了网络内部计算资源的更好利用。降维的inception模块如图6所示。另一个值得注意的因素是，该网络在保持计算成本不变的同时增加了体系结构的深度和宽度。

ResNet模型提出了一种残差学习框架来简化网络的训练。该模型的重点是t梯度退化问题(Lin等人，2013年)。该模型的新颖之处在于其架构中的残差块和深度。在传统的深度学习模型中，堆叠层符合所需的底层映射，而ResNet模型允许这些层符合残差映射(何等人，2016)。

如上所述，CNNs具有深度架构，这种架构导致了严重的复杂性和计算成本。众所周知的CNN模型及其属性总结在表1中。从表1可以推断，AlexNet凭借其示例和基本体系结构而成为该领域的先驱。与AlexNet相比，VGGNet具有更深的结构，并且其架构中的计算参数多于2倍。由于inception模块的使用，GoogLeNet确保了适当的训练时间和有效的内存使用。由于inception模块的使用，GoogLeNet确保了适当的训练时间和有效的内存使用。通过引入残差学习策略，ResNet提出了更多更深入的体系结构。

2.3 迁移学习和微调

CNN模型通过消除手动特征提取、产生最先进的识别结果以及为新的特定任务进行再训练来确保重要的能力。这些因素使这些模型变得相当有用。训练CNN模型有两种基本方法：(1)从头开始；(2)迁移学习。此外，从激活函数获取的特征也可以用于机器学习算法(Razavie等人，2014年)。事实是，如果可以使用大规模数据资源，那么CNN模型可以轻松实现通用化结果。然而，在实际应用中，实现大规模的标签数据库是一个挑战，有时甚至是不可能的。从头开始训练CNN模型需要许多样本对象来揭示他们有区别的特征。虽然这种方法给了我们对网络的最大控制权，但训练时间太长了。此外，过度拟合和收敛问题是该过程中可能面临的潜在问题（Penatti等人，2015）。为了解决这些问题，可以使用微调对CNN模型进行再训练，这种方法被称为迁移学习。迁移学习是一种非常方便有效的知识适应方法(Salaken et al., 2019)。在一种常见的迁移学习方法中，卷积层被用作固定特征提取器，并且只为新的特定任务设置完全连通的层(Mazo等人，2018年)。微调从将权重从预先训练的网络转移到我们要训练的新网络开始。首先，网络的最后几层(包括完全连接层、Softmax层和分类层)经常与网络分离。然后，考虑到新的具体任务的结构，实现一个新的配置（Salaken等人，2019年）。在这项研究中，我们主要研究单倍体和二倍体玉米种子(二进制分类)，所以我们只有两类。出于这个原因，新的完全连接层有两个神经元。微调过程中使用的参数的详细信息如表2所示。

epoch的最大数量对应于依赖于minibatch size而使损失函数最小化的一个极限值。minibatch size是训练集的一个子集，用于评估损失函数梯度和更新网络权值。网络开始用初始学习速率更新权值。学习率schedule确保降低学习率，这取决于一定的drop periods and drop factors（earnRateDropFactor=0.1、LearnRateDropPeriod=8是每8个epoces使得学习速率乘以一个0.1的比例因子）。以这种方式，网络的训练更快并且确保了更适当的训练时间。

3. 结果与讨论

3.1 性能指标

在这项研究中，首先将混淆矩阵用于预测CNN模型的性能。对于二进制分类任务，混淆矩阵包括四个指标，分别为真阳性（TP），真阴性（TN），假阳性（FP）和假阴性（FN），如图8所示。在本例中，TP和TN匹配了正确识别的单倍体和二倍体玉米种子的数量，而FP和FN匹配了错误识别的单倍体和二倍体玉米种子的数量。真正的单倍体和二倍体玉米种子数量对应于$+R(TP+FN)$和$-R(FP+TN)$，而预测的单倍体和二倍体玉米种子数分别对应于$+P(TP+FP)$和$-P(FN+TN)$。最后，N代表记录总数。

一些性能度量，如准确性(ACC)、敏感度(Se，召回率)、特异性(Sp)、质量指数(QI)和F分数，可以从混淆矩阵中得出。性能指标的公式及其简短描述如表3所示。应当注意的是，如果类别之间的记录数量不相等，则从更真实的性能解释的角度来看，QI和F分数的重要性会增加（Cömert等人，2018）。

接收器工作特性(ROC)曲线也是测量模型性能的有用工具，无需考虑类别分布或误差成本。ROC曲线是通过绘制所有特定值与相应的敏感值(CöMert和Kocamaz，2018年)来生成的。在这个范围内，曲线下面积(AUC)是衡量二进制类任务的合适度量。希望AUC值尽可能接近1。

3.2. 实验结果

实验是在单NVIDIA Quadro P6000 GPU的MATLAB(R2018b)上实现的。在每个CNN模型的性能计算中，将数据集随机分为训练集和测试集两部分。训练率和测试率分别保持在70%和30%。表4给出了详细设置。

如前所述，我们倾向于在表2中给出参数的情况下使用迁移学习方法。训练集和验证集的准确度和epoch损失如图9所示。我们测试了几种实验设置，以找出所有CNN模型的最有效参数。如图9所示，所有的CNN模型在训练阶段都达到了很高的精度。此外，模型在大约20个epoch内完成了收敛过程。

训练过程完成后，CNN模型的测试集的混淆矩阵如表5所示。此外，表6中还报告了从混淆矩阵派生的性能指标。所有的CNN模型都能区分单倍体和二倍体玉米种子，准确率都在90%以上。其中，VGG-19模型的Se和Sp最高，分别为94.58%和93.97%。在我们的例子中，最重要的性能度量是Se，因为这个度量代表了识别单倍体玉米种子的模型成功。vgg19 (Se = 94.58%)和GoogLeNet (Se = 89.16%)的灵敏度值最佳和最差。如前所述，试验集共使用单倍体种子369颗，二倍体种子531颗，vgg19能正确识别玉米单倍体种子349颗，二倍体种子499颗。


由于各类间数据分布不均衡，ROC曲线、QI、F-score指标变得更加显著。从这个角度来看，VGG-16具有上述指标的最佳值。AlexNet、vgn -16、vgn -19、GoogLeNet、ResNet-18、ResNet-50、ResNet-101的AUCs分别为0.9758、0.9793、0.9852、0.9699、0.9795、0.9718、0.9750。CNN模型的ROC曲线如图10所示。

图11显示了CNN模型测试性能的比较。如图11所示，在忽略训练所花费的时间的情况下，VGG-19相对于其他分类获得了最大的分类性能。Alexnet训练时间最短(19.82min)，Resnet-101训练时间最长(110.13分钟)。需要注意的是，网络的训练时间取决于硬件资源。使用先进的GPU可以确保缩短CNN的培训时间。

3.3. Discussion

由于使用了不同的方法、数据集和划分标准，相关论文之间的一对一比较是不可行的。然而，我们在表7中给出了一个比较，考虑了几个标准，例如基因型数量、样本数量、样本在类之间的分布、成像方法、使用的方法，最后是性能指标。

4. 结论

本文采用细胞神经网络(CNN)模型，通过迁移学习方法自动识别单倍体和二倍体玉米种子。对七种著名的CNN结构进行了训练，使其能够对自然图像上的视觉对象进行分类，并适用于这一特定任务。我们的迁移学习策略依赖于保存和冻结卷积层，并更新完全相连的层来识别单倍体和二倍体玉米种子。虽然训练一个深层的CNN模型需要大量的资源，但我们使用迁移学习方法在单倍体和二倍体玉米种子的识别上取得了很好的效果。使用CNN模型，我们的方法能够正确识别大约九成的玉米种子。这一结果强调了迁移学习的主要优势，以及它在训练样本数量较少的领域中利用深度学习潜力的能力。此外，我们还利用了CNN模型的端到端学习优势，省去了繁琐的人工特征提取任务。实验结果证明，CNN模型为无损、快速、低成本地区分单倍体和二倍体玉米种子提供了新的契机。尽管CNN的所有模型都保证了有希望的结果，但对于这项特殊任务，最有效的模型被确定为VGG-19。VGG-19的ACC、Se、Sp、QI和F-Score性能指标分别达到94.22%、94.58%、93.97%、94.27%和93.07%。此外，VGG-19还达到了0.9852的AUC值。此外，我们还介绍了一个新的公开可用的单倍体和二倍体玉米种子数据库，包括1230张单倍体和1770张二倍体玉米种子图像。最后，我们得出结论，CNN模型明显优于基于机器学习的方法和传统的人工选择方法。结果表明，利用CNN模型识别单倍体和二倍体玉米是一种无损、快速、低成本的解决方案。

在未来，我们将研究如何使用激活映射作为一个特征集来提供浅层网络。此外，我们还将设计一台使用deep CNN模型的机器，以便将实验知识转移到现场。