目标检测YOLO实战应用案例100讲-基于深度学习的复杂环境下番茄目标检测与定位技术研究

目录

前言

自然环境下的番茄生长特性分析 

当前番茄目标检测与定位技术存在的问题与挑战 

 机器视觉系统与数据集处理 

2.1 常见视觉系统 

2.1.1 双目立体视觉模型 

2.1.2 RGB-D深度相机模型 

2.2 采摘机器人视觉系统 

2.3 样本数据集获取与预处理 

基于RC-YOLOv4的番茄检测模型构建与改进 

3.1 深度学习目标检测网络模型 

3.1.1 单阶段网络模型 

3.1.2 双阶段网络模型 

3.1.3 深度可分离卷积神经网络模型 

 3.1.4 残差神经网络模型 

3.2 RC-YOLOv4网络模型结构 

 3.2.1 R-CSPDarknet53 

3.2.2 C-SPP 

3.3 RC-YOLOv4网络模型训练 

3.3.1 数据集制作与实验环境 

3.3.2 网络模型训练 

3.4 模型对比实验 

3.4.1 评价指标定义 

3.4.2 不同网络结构的对比分析 

3.4.3 不同网络模型检测实验数据结果分析 

3.4.4 不同网络模型检测结果对比实验及分析 

基于Kinect v2深度相机的番茄果实三维空间定位 

4.1 RGB-D相机标定及内外参获取 

4.1.1 RGB-D相机标定原理 

 4.1.2 Kinect v2相机标定实验 

4.1.3 Kinect v2相机内参获取 

4.2 彩色图像与深度图像配准 

4.3 番茄目标三维空间定位实验 

---

 

前言

采摘机器人的运行环境复杂，不确定性因素多，造成采摘难度大。高效快捷的
果蔬采摘需要精准的目标识别[51]和三维定位[52]的支撑。采摘机器人的机器视觉系
统运行经历4个阶段：目标检测[51]、目标识别[52]、三维重建[56]和三维定位[57]。目
标检测要求检测算法及时检测出图像中的目标物体；目标识别要求识别出采摘的对象和其他干扰项；三维重建将先通过摄像机获取目标物的二维图像，再通过特征
提取[58]、立体匹配[39]等算法获取果实在空间中的三维信息；通过三维重建获取空
间坐标完成三维定位。目标识别和定位的精度直接决定采摘机器人的采摘效率、农
作物是否受到破坏、采摘机器人本体是否碰撞损坏等。采摘作业时，引起目标识别
和定位不精准的因素颇多，概况起来大致可归结为以下几个方面：(1) 自然光照的
变化；(2) 复杂的生长环境；(3) 果实重叠或被枝叶、枝干等遮挡；(4) 机械臂振动
造成传感器成像不精确；(5) 射频干扰(机器人控制器、相机、传感器等)；(6) 机
器人机械故障等。由此可见，对于采摘机器人而言，在如此众多干扰因素存在的情
况下，精确的果蔬识别和定位对于提高采摘机器人的自动化程度、采摘成功率以及
降低采摘难度具有重大的研究意义[29]。