coreference resolution的ontonotes 5.0数据集处理后续_ontonotes 5.0处理

记录一个小白的ontonotes处理之路

因为毕业论文坑了自己，所以不得不研究ontonotes怎么使用……

首先初级的处理参考了这篇教程。
中文的数据准备需要更改这四个文件

很好用。唯一需要注意两个点：

1. 需要使用tensorflow 1.x 版本，不然会报错

AttributeError: module 'tensorflow' has no attribute 'NotDifferentiable'
1

2. 中文的vocab.txt可以从某些中文预训练词典获取，我是从这里获取的。

在coref中

%cd /content/drive/My Drive/coref 
%tensorflow_version 1.x #使用1.0版本
!pip install pyhocon
!pip install -r requirements.txt
!export data_dir=./ #一定不能有空格！一忘记就会报错No configuration setting found for key {key}"
!bash ./setup_all.sh
!bash ./setup_training.sh ./ontonotes-release-5.0/ ./
1
2
3
4
5
6
7

即可完成数据处理这一步。

好的，接下来来说一下jsonlines这一个包的阅读和使用。

jsonlines使用

先学会阅读jsonlines.
jsonlines的每一行是一个json。比如我们在处理好了文件后会有这样一行

//{"doc_key": "bc/cctv/00/cctv_0000_0", "sentences": [["[CLS]", "ｅ", "##ｍ", "##ｐ", "##ｔ", "##ｙ", "二", "零", "零", "五", "年", "的", "夏", "天", "，", "一", "个", "被", "人", "们", "期", "待", "已", "久", "的", "画", "面", "开", "始", "在", "香", "港", "的", "各", "大", "媒", "体", "频", "繁", "出", "现", "，", "这", "些", "被", "人", "们", "所", "熟", "知", "的", "卡", "通", "形", "象", "以", "其", "独", "有", "的", "魅", "力", "再", "一", "次", "让", "世", "人", "的", "目", "光", "聚", "集", "到", "香", "港", "，", "全", "球", "第", "五", "个", "迪", "斯", "尼", "乐", "园", "即", "将", "在", "这", "里", "向", "公", "众", "开", "放", "。", "迪", "斯", "尼", "呢", "最", "重", "要", "的", "是", "，", "它", "是", "世", "界", "的", "品", "牌", "嘛", "。", "[SEP]"], ["[CLS]", "那", "么", "这", "几", "年", "呐", "，", "虽", "然", "它", "建", "造", "的", "时", "候", "，", "呃", "还", "，", "还", "没", "有", "开", "幕", "呢", "，", "已", "经", "有", "很", "多", "的", "人", "对", "香", "港", "啊", "，", "可", "以", "说", "是", "另", "眼", "相", "看", "呐", "。", "[SEP]"], ["[CLS]", "＜", "ｅ", "##ｎ", "##ｇ", "##ｌ", "##ｉ", "##ｓ", "##ｈ", "＞", "ｔ", "##ｈ", "##ｅ", "##ｎ", "ｗ", "##ｅ", "##ｌ", "##ｃ", "##ｏ", "##ｍ", "##ｅ", "ｔ", "##ｏ", "ｔ", "##ｈ", "##ｅ", "ｏ", "##ｆ", "##ｆ", "##ｉ", "##ｃ", "##ｉ", "##ａ", "##ｌ", "ｗ", "##ｒ", "##ｉ", "##ｔ", "##ｉ", "##ｎ", "##ｇ", "ｃ", "##ｅ", "##ｒ", "##ｅ", "##ｍ", "##ｏ", "##ｎ", "##ｙ", "ｏ", "##ｆ", "ｈ", "##ｏ", "##ｎ", "##ｇ", "##ｋ", "##ｏ", "##ｎ", "##ｇ", "ｄ", "##ｉ", "##ｓ", "##ｋ", "##ｎ", "##ｅ", "##ｙ", "##ｌ", "##ａ", "##ｎ", "##ｄ", "＜", "ｅ", "##ｎ", "##ｇ", "##ｌ", "##ｉ", "##ｓ", "##ｈ", "＞", "．", "香", "港", "迪", "斯", "尼", "乐", "园", "的", "建", "设", "开", "始", "于", "两", "年", "前", "的", "二", "零", "零", "三", "年", "，", "[SEP]"], ["[CLS]", "这", "年", "一", "月", "，", "香", "港", "政", "府", "将", "大", "屿", "山", "下", "的", "这", "片", "近", "年", "来", "最", "大", "的", "填", "海", "工", "程", "所", "得", "到", "的", "二", "百", "公", "顷", "土", "地", "，", "交", "给", "了", "迪", "斯", "尼", "公", "司", "。", "＜", "ｅ", "##ｎ", "##ｇ", "##ｌ", "##ｉ", "##ｓ", "##ｈ", "＞", "ｏ", "##ｎ", "##ｅ", "＜", "ｅ", "##ｎ", "##ｇ", "##ｌ", "##ｉ", "##ｓ", "##ｈ", "＞", "．", "ｅ", "##ｍ", "##ｐ", "##ｔ", "##ｙ", "从", "那", "时", "开", "始", "这", "里", "就", "成", "了", "香", "港", "的", "一", "个", "禁", "区", "。", "同", "在", "大", "屿", "山", "与", "之", "相", "邻", "的", "香", "港", "国", "际", "机", "场", "，", "调", "整", "了", "航", "线", "，", "使", "这", "里", "成", "为", "一", "个", "禁", "飞", "区", "。", "[SEP]"], ["[CLS]", "第", "一", "次", "在", "中", "国", "土", "地", "上", "落", "户", "的", "米", "奇", "老", "鼠", "的", "新", "家", "，", "引", "起", "了", "全", "球", "的", "关", "注", "。", "ｅ", "##ｍ", "##ｐ", "##ｔ", "##ｙ", "现", "在", "距", "离", "香", "港", "迪", "斯", "尼", "乐", "园", "九", "月", "十", "二", "号", "的", "开", "业", "只", "有", "一", "个", "月", "的", "时", "间", "了", "，", "通", "往", "迪", "斯", "尼", "的", "地", "铁", "也", "已", "经", "建", "好", "。", "地", "铁", "站", "里", "不", "时", "会", "有", "乘", "客", "在", "售", "票", "机", "上", "点", "击", "迪", "斯", "尼", "一", "站", "，", "试", "图", "买", "票", "去", "先", "睹", "为", "快", "。", "[SEP]"], ["[CLS]", "但", "是", "迪", "斯", "尼", "地", "铁", "站", "的", "开", "通", "日", "却", "被", "定", "在", "开", "业", "当", "天", "。", "两", "年", "来", "，", "迪", "斯", "尼", "一", "直", "保", "持", "着", "它", "的", "神", "秘", "，", "没", "有", "任", "何", "一", "家", "媒", "体", "被", "允", "许", "进", "入", "拍", "摄", "。", "我", "们", "乘", "坐", "出", "租", "车", "沿", "着", "通", "往", "迪", "斯", "尼", "方", "向", "的", "公", "路", "一", "路", "向", "前", "，", "试", "图", "近", "距", "离", "去", "开", "始", "于", "两", "年", "前", "的", "二", "零", "零", "三", "年", "，", "[SEP]"], ["[CLS]", "但", "是", "在", "迪", "斯", "尼", "的", "任", "何", "标", "志", "都", "还", "没", "有", "进", "入", "我", "们", "的", "视", "线", "时", "，", "车", "子", "就", "在", "去", "往", "迪", "斯", "尼", "的", "岔", "路", "口", "被", "保", "安", "人", "员", "拦", "了", "下", "来", "，", "回", "来", "的", "路", "上", "，", "出", "租", "车", "司", "机", "在", "了", "解", "我", "们", "的", "意", "图", "后", "，", "给", "我", "们", "做", "了", "这", "样", "的", "解", "释", "。", "＜", "ｃ", "##ａ", "##ｎ", "##ｔ", "##ｏ", "##ｎ", "##ｅ", "##ｓ", "##ｅ", "＞", "呃", "据", "保", "安", "说", "是", "全", "部", "暂", "时", "未", "正", "式", "开", "＜", "ｃ", "##ａ", "##ｎ", "##ｔ", "##ｏ", "##ｎ", "##ｅ", "##ｓ", "##ｅ", "＞", "[SEP]"], ["[CLS]", "＜", "ｃ", "##ａ", "##ｎ", "##ｔ", "##ｏ", "##ｎ", "##ｅ", "##ｓ", "##ｅ", "＞", "开", "放", "之", "前", "呢", "就", "全", "部", "，", "任", "何", "车", "辆", "，", "除", "了", "特", "别", "有", "批", "准", "之", "外", "呢", "才", "可", "以", "进", "入", "＜", "／", "ｃ", "##ａ", "##ｎ", "##ｔ", "##ｏ", "##ｎ", "##ｅ", "##ｓ", "##ｅ", "＞", "＜", "ｃ", "##ａ", "##ｎ", "##ｔ", "##ｏ", "##ｎ", "##ｅ", "##ｓ", "##ｅ", "＞", "如", "果", "不", "是", "的", "话", "全", "部", "都", "不", "可", "以", "进", "入", "＜", "／", "ｃ", "##