【论文阅读】2021中国法研杯司法考试数据集研究（CAIL2021）_法研杯2021刑期预测数据集

• 英文标题：JEC-QA: A Legal-Domain Question Answering Dataset

• 中文标题：法律领域问答数据集

• 论文下载：arxiv@1911.12011

• 项目地址：GitHub@CAIL2021

• 比赛链接：CAIL2021@司法考试

序言

本论文是关于中国法律智能技术评测$2021$比赛中司法考试任务数据集的构成与一些测试模型的评估。在上面的项目地址GitHub@CAIL2021中已有测试模型，但是它完全没有应用到数据集中给到的参考书目文档，笔者在阅读本论文前认为参考书目文档可能可以用于数据增强，或用于构建知识图谱以预训练得到更好的题干及选项的语义表示。诸多尝试后，笔者决定还是先参考原作者已完成的工作，事实上原作者是将司法考试任务视为阅读理解任务来评估的，其中使用到$\text{ElasticSearch}$检索以及多级推理等技术，这意味着该任务的解决思路将会十分开阔，但是该任务本身的困难程度是非常高的，因为目前机器做题的成绩远远差于普通人类的水平。

笔者建议对该任务感兴趣的朋友可以先阅读本文以熟悉前人的解决思路，然后再加以改进并测试。项目地址GitHub@CAIL2021中的基线模型的正确率大约为$26\%$，这已经足以通过该评测任务第一阶段的测试了。

其实这个任务目前也没有多少队伍在做，笔者只是对这个话题非常感兴趣，所以花了一些功夫。个人觉得对参考书目文档的预处理是非常重要的，其中有许多冗余的信息，然后数据集中的subject字段是存在缺失的，而这个字段其实对信息检索是非常有帮助的，所以需要额外训练模型对该字段进行预测，这个笔者之前也想到了，在本论文中原作者也强调了这一点的必要性。

摘要 $\text{Abstract}$

• 本文提出目前规模最大的法律领域问答数据集$\text{JEC-QA}$，数据源为中国国家司法考试（National Judicial Examination of China，下简称为$\text{NJEC}$）真题，每年$\text{NJEC}$的通过率约为$10\%$。

• 司法考试中通常需要检索相关法条以完成答题，这属于逻辑推理的过程，因此常规的问答模型在$\text{JEC-QA}$数据集上的表现并不是很好，最先进的问答模型也只能取得$28\%$的正确率，而专业人员平均能够达到$81\%$的正确率，即便是非专业人员稍加训练一般也能达到$64\%$的正确率，因此人类与机器在司法考试任务上的表现差异巨大。

• $\text{JEC-QA}$数据集可以从官网获得：该数据集需要发送邮件向原作者申请获得，如果急需使用的可以通过笔者分享的链接下载

  声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/羊村懒王/article/detail/362649