devbox
AllinToyou
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

YOLO V3 SPP ultralytics 第一节：VOC 的标注文件(xml)转YOLO标注格式(txt)以及如何自定义YOLO数据样本

作者：AllinToyou | 2024-03-17 17:32:16

赞

踩

yolo标注格式

目录

1. 前言

2. 关于PASCAL VOC数据集xml --> YOLO txt格式

2.1 路径设定

2.2 读取xml 文件的函数

2.3 xml ---> yolo txt

2.4 yolo 的label文件

2.6 结果

2.7 代码

3. 自定义 YOLO 数据集

3.1 预备工作

3.2 打开labelimg

3.3 绘制

代码参考是b站的大佬：3.2 YOLOv3 SPP源码解析(Pytorch版)

PASCAL VOC数据集的链接：http://host.robots.ox.ac.uk/pascal/VOC/voc2012/

 

转换之后的yolo格式数据集分为两个，一个太大了，没法上传

训练集：PASCAL VOC 目标检测的yolo格式之训练集

验证集：PASCAL VOC 目标检测的yolo格式之验证集

1. 前言

目标检测的label文件和分类、分割都不相同。一般来说，分类任务中，相同类别的图片放在同一个目录下，文件名的索引就是分类的名称。而分割任务中，不同的训练图像对应的是不同的多阈值图像，即训练是图像，label也是图像

目标检测的label分为两个，一个是待检测目标的类别，例如猫啊、狗啊等等。另一个是目标的位置，用边界框来标注，经常是xmin、xman、ymin、ymax的矩形框。

通常，目标检测的标签是用xml 文件标注的

例如，下方的object里面，就有horse和person两个类别，对应类别的下方有四个参数就是边界框的信息

而yolo算法导致这样的xml 不满足 yolo的格式，所以需要一个xml转yolo格式的操作

如下，12 指的是检测的类别，后面四个参数是x、y、w、h边界框的信息

yolo 边界框是根据边界框中心坐标、w、h相对于整幅图像而言的

2. 关于PASCAL VOC数据集xml --> YOLO txt格式

本章只完成数据转换的工作

一开始，my_yolo_dataset 和my_data_label.names 是没有的，是由trans_voc2yolo.py 将VOCdevkit的数据转换才生成的两个文件

2.1 路径设定

VOC 数据集是分开的，用于不同的任务，这里只针对目标检测任务

  • Annotations 放目标检测的xml 标签文件
  • train.txt、val.txt 放训练集和验证集的 文件名（只有文件名，不包含后缀，也不是绝对路径）
  • JPEGImages 放所有VOC的图片

2.2 读取xml 文件的函数

如下：

这里的代码用的递归实现，没怎么看懂，知道怎么用就行了

下面是读取一个xml文件，返回的字典信息

{'annotation': {'folder': 'VOC2012', 'filename': '2008_000008.jpg', 'source': {'database': 'The VOC2008 Database', 'annotation': 'PASCAL VOC2008', 'image': 'flickr'}, 'size': {'width': '500', 'height': '442', 'depth': '3'}, 'segmented': '0', 'object': [{'name': 'horse', 'pose': 'Left', 'truncated': '0', 'occluded': '1', 'bndbox': {'xmin': '53', 'ymin': '87', 'xmax': '471', 'ymax': '420'}, 'difficult': '0'}, {'name': 'person', 'pose': 'Unspecified', 'truncated': '1', 'occluded': '0', 'bndbox': {'xmin': '158', 'ymin': '44', 'xmax': '289', 'ymax': '167'}, 'difficult': '0'}]}}

2.3 xml ---> yolo txt

这部分比较重要，一点一点看

注意框中的部分，因为 parse_xml_to_dict 返回的是字典，而最先的key是annotation，所以data先将它取出来

然后遍历key为object下面的边界框

 注意这里的index是索引，从0开始。这里是第一个index和obj的值

最后将边界框转为中心点坐标宽度和高度，然后再改为整幅图像的相对值就行了

2.4 yolo 的label文件

实现代码如下：

 这里也很简单，就是将VOC的key取出，然后存放即可

2.6 结果

运行过程如下

生成的yolo 数据集目录如下：

yolo 的label信息：

2.7 代码

转换的代码如下：

  1. """
  2. 本脚本有两个功能：
  3. 1.将voc数据集标注信息(.xml)转为yolo标注格式(.txt)，并将图像文件复制到相应文件夹
  4. 2.根据json标签文件，生成对应names标签(my_data_label.names)
  5. """
  6.  
  7. import os
  8. from tqdm import tqdm
  9. from lxml import etree
  10. import json
  11. import shutil
  12.  
  13.  
  14. # 读取xml 文件信息，并返回字典形式
  15. def parse_xml_to_dict(xml):
  16.     """
  17.     将xml文件解析成字典形式，参考tensorflow的recursive_parse_xml_to_dict
  18.     Args：
  19.         xml: xml tree obtained by parsing XML file contents using lxml.etree
  21.     Returns:
  22.         Python dictionary holding XML contents.
  23.     """
  24.  
  25.     if len(xml) == 0:  # 遍历到底层，直接返回tag对应的信息
  26.         return {xml.tag: xml.text}
  27.  
  28.     result = {}
  29.     for child in xml:
  30.         child_result = parse_xml_to_dict(child)  # 递归遍历标签信息
  31.         if child.tag != 'object':
  32.             result[child.tag] = child_result[child.tag]
  33.         else:
  34.             if child.tag not in result:  # 因为object可能有多个，所以需要放入列表里
  35.                 result[child.tag] = []
  36.             result[child.tag].append(child_result[child.tag])
  37.     return {xml.tag: result}
  38.  
  39.  
  40. # 将xml文件转换为yolo的 txt文件
  41. def translate_info(file_names: list, save_root: str, class_dict: dict, train_val='train'):
  42.     """
  43.     :param file_names: 所有训练集/验证集 图片的路径
  44.     :param save_root:  带保持的对应的 yolo 文件
  45.     :param class_dict: voc 数据的json 标签
  46.     :param train_val:  判断传入的是训练集还是验证集
  47.     """
  48.  
  49.     save_txt_path = os.path.join(save_root, train_val, "labels")            # 保存yolo的 txt 标注文件
  50.     if os.path.exists(save_txt_path) is False:
  51.         os.makedirs(save_txt_path)
  52.  
  53.     save_images_path = os.path.join(save_root, train_val, "images")         # 保存yolo 的训练图像文件
  54.     if os.path.exists(save_images_path) is False:
  55.         os.makedirs(save_images_path)
  56.  
  57.     for file in tqdm(file_names, desc="translate {} file...".format(train_val)):
  58.         # 检查下图像文件是否存在
  59.         img_path = os.path.join(voc_images_path, file + ".jpg")
  60.         assert os.path.exists(img_path), "file:{} not exist...".format(img_path)
  61.  
  62.         # 检查xml文件是否存在
  63.         xml_path = os.path.join(voc_xml_path, file + ".xml")
  64.         assert os.path.exists(xml_path), "file:{} not exist...".format(xml_path)
  65.  
  66.         # read xml
  67.         with open(xml_path) as fid:
  68.             xml_str = fid.read()
  69.         xml = etree.fromstring(xml_str)
  70.         data = parse_xml_to_dict(xml)["annotation"]     # 读取xml文件信息
  71.         img_height = int(data["size"]["height"])        # 读入图像的 h
  72.         img_width = int(data["size"]["width"])          # 读入图像的 w
  73.  
  74.         # 判断该xml 是否有 ground truth
  75.         assert "object" in data.keys(), "file: '{}' lack of object key.".format(xml_path)
  76.         if len(data["object"]) == 0:
  77.             # 如果xml文件中没有目标，返回该图片路径，然后忽略该样本
  78.             print("Warning: in '{}' xml, there are no objects.".format(xml_path))
  79.             continue
  80.  
  81.         # 新建xml对应的yolo txt标注文件，并写入
  82.         with open(os.path.join(save_txt_path, file + ".txt"), "w") as f:
  83.             for index, obj in enumerate(data["object"]):    # index是0开始的索引，obj 是object的字典文件
  84.                 # 获取每个object的box信息
  85.                 xmin = float(obj["bndbox"]["xmin"])
  86.                 xmax = float(obj["bndbox"]["xmax"])
  87.                 ymin = float(obj["bndbox"]["ymin"])
  88.                 ymax = float(obj["bndbox"]["ymax"])
  89.                 class_name = obj["name"]        # 获取边界框的分类
  90.                 class_index = class_dict[class_name] - 1  # 目标id从0开始
  91.  
  92.                 # 进一步检查数据，有的标注信息中可能有w或h为0的情况，这样的数据会导致计算回归loss为nan
  93.                 if xmax <= xmin or ymax <= ymin:
  94.                     print("Warning: in '{}' xml, there are some bbox w/h <=0".format(xml_path))
  95.                     continue
  96.  
  97.                 # 将box信息转换到 yolo格式
  98.                 xcenter = xmin + (xmax - xmin) / 2      # 中心点坐标
  99.                 ycenter = ymin + (ymax - ymin) / 2
  100.                 w = xmax - xmin                         # 边界框的 w 和 h
  101.                 h = ymax - ymin
  102.  
  103.                 # 绝对坐标转相对坐标，保存6位小数
  104.                 xcenter = round(xcenter / img_width, 6)
  105.                 ycenter = round(ycenter / img_height, 6)
  106.                 w = round(w / img_width, 6)
  107.                 h = round(h / img_height, 6)
  108.  
  109.                 info = [str(i) for i in [class_index, xcenter, ycenter, w, h]]
  110.  
  111.                 if index == 0:
  112.                     f.write(" ".join(info))
  113.                 else:       # 自动换行
  114.                     f.write("\n" + " ".join(info))
  115.  
  116.         # 复制图像到对应的集
  117.         path_copy_to = os.path.join(save_images_path, img_path.split(os.sep)[-1])
  118.         if os.path.exists(path_copy_to) is False:
  119.             shutil.copyfile(img_path, path_copy_to)
  120.  
  121.  
  122. # 创建yolo 的 label文件
  123. def create_class_names(class_dict: dict):
  124.     keys = class_dict.keys()
  125.     with open("./data/my_data_label.names", "w") as w:
  126.         for index, k in enumerate(keys):
  127.             if index + 1 == len(keys):
  128.                 w.write(k)
  129.             else:
  130.                 w.write(k + "\n")
  131.  
  132.  
  133. def main():
  134.     # 读取原先的voc数据的json label文件
  135.     json_file = open(label_json_path, 'r')
  136.     class_dict = json.load(json_file)
  137.  
  138.     # 读取voc数据集所有训练集路径文件 train.txt中的所有行信息，删除空行
  139.     with open(train_txt_path, "r") as r:
  140.         train_file_names = [i for i in r.read().splitlines() if len(i.strip()) > 0]
  141.  
  142.     # voc信息转 yolo，并将图像文件复制到相应文件夹
  143.     translate_info(train_file_names, save_file_root, class_dict, "train")
  144.  
  145.     # 读取voc数据集所有验证集路径文件 val.txt中的所有行信息，删除空行
  146.     with open(val_txt_path, "r") as r:
  147.         val_file_names = [i for i in r.read().splitlines() if len(i.strip()) > 0]
  148.     # voc信息转yolo，并将图像文件复制到相应文件夹
  149.     translate_info(val_file_names, save_file_root, class_dict, "val")
  150.  
  151.     # 创建my_data_label.names文件
  152.     create_class_names(class_dict)
  153.  
  154.  
  155. if __name__ == "__main__":
  156.     # voc数据集根目录以及版本
  157.     voc_root = "VOCdevkit"
  158.     voc_version = "VOC2012"
  159.  
  160.     # 转换的训练集以及验证集对应txt文件
  161.     train_txt = "train.txt"
  162.     val_txt = "val.txt"
  163.  
  164.     # 转换后的文件保存目录，yolo格式
  165.     save_file_root = "./my_yolo_dataset"
  166.     if os.path.exists(save_file_root) is False:
  167.         os.makedirs(save_file_root)
  168.  
  169.     # label标签对应json文件
  170.     label_json_path = './data/pascal_voc_classes.json'
  171.  
  172.     voc_images_path = os.path.join(voc_root, voc_version, "JPEGImages")                         # voc 训练图像路径
  173.     voc_xml_path = os.path.join(voc_root, voc_version, "Annotations")                           # voc 的 xml 标签文件路径
  174.     train_txt_path = os.path.join(voc_root, voc_version, "ImageSets", "Main", train_txt)        # voc 训练集路径文件
  175.     val_txt_path = os.path.join(voc_root, voc_version, "ImageSets", "Main", val_txt)            # voc 验证集路径文件
  176.  
  177.     # 检查文件/文件夹都是否存在
  178.     assert os.path.exists(voc_images_path), "VOC images path not exist..."
  179.     assert os.path.exists(voc_xml_path), "VOC xml path not exist..."
  180.     assert os.path.exists(train_txt_path), "VOC train txt file not exist..."
  181.     assert os.path.exists(val_txt_path), "VOC val txt file not exist..."
  182.     assert os.path.exists(label_json_path), "label_json_path does not exist..."
  183.  
  184.     # 开始转换
  185.     main()

3. 自定义 YOLO 数据集

这里用的是labelimg，安装如下

pip install labelimg

终端输入 labelimg 即可进入，界面如下：

3.1 预备工作

新建一个demo 文件夹，下面存放这三个文件

  • annotation 是保存的yolo 边界框文件
  • img 是图片
  • labels.txt 是label文件

 label存放如下：

3.2 打开labelimg

在demo中打开终端，第一个参数是图像的文件夹，第二个是labels的路径

3.3 绘制

打开后会这么显示，首先要将保存的格式改成yolo的。然后将save dir选中annotation文件夹

右边是img有的文件，这里放置两张图像 

绘制的时候，选中哪个类别就行了

最后结果就是这样

本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号