使用Java-Hanlp训练CRF模型_hanlp训练领域模型

CRF是序列标注场景中常用的一种语言模型，与基于隐马尔可夫模型（HMM）的最短路径分词、N-最短路径分词相比，基于条件随机场（CRF）的分词对未登录词有更好的支持。CRF的效果比感知机稍好一些，然而训练速度较慢，也不支持在线学习。

一、CRF分词

官网给出的CRF分词方法如下：

public class DemoCRFSegment
{
    public static void main(String[] args)
    {
        HanLP.Config.ShowTermNature = false;    // 关闭词性显示
        Segment segment = new CRFSegment();
        String[] sentenceArray = new String[]
                {
                        "HanLP是由一系列模型与算法组成的Java工具包，目标是普及自然语言处理在生产环境中的应用。",
                        "鐵桿部隊憤怒情緒集結 馬英九腹背受敵",           // 繁体无压力
                        "馬英九回應連勝文“丐幫說”：稱黨內同志談話應謹慎",
                        "高锰酸钾，强氧化剂，紫红色晶体，可溶于水，遇乙醇即被还原。常用作消毒剂、水净化剂、氧化剂、漂白剂、毒气吸收剂、二氧化碳精制剂等。", // 专业名词有一定辨识能力
                        "《夜晚的骰子》通过描述浅草的舞女在暗夜中扔骰子的情景,寄托了作者对庶民生活区的情感",    // 非新闻语料
                        "这个像是真的[委屈]前面那个打扮太江户了，一点不上品...@hankcs",                       // 微博
                        "鼎泰丰的小笼一点味道也没有...每样都淡淡的...淡淡的，哪有食堂2A的好次",
                        "克里斯蒂娜·克罗尔说：不，我不是虎妈。我全家都热爱音乐，我也鼓励他们这么做。",
                        "今日APPS：Sago Mini Toolbox培养孩子动手能力",
                        "财政部副部长王保安调任国家统计局党组书记",
                        "2.34米男子娶1.53米女粉丝 称夫妻生活没问题",
                        "你看过穆赫兰道吗",
                        "乐视超级手机能否承载贾布斯的生态梦"
                };
        for (String sentence : sentenceArray)
        {
            List<Term> termList = segment.seg(sentence);
            System.out.println(termList);
        }
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

针对项目需求，主要对地址文本进行分词，但是由于地址文本与一般文本相比，是具有空间结构和空间嵌套关系的字符串，尤其注重对地址元素的抽取和拆分。例如以`湖北省荆州市荆州区荆秘路266-1号`门牌号地址为例，在Hanlp原生训练的CRF模型下，得到的分词结果为：

该模型无法区分地址元素【荆州区】【荆秘路】，因此无法满足实际需要。
本文对其做出的改进为，在默认语料库添加地址语料库进行自定义模型训练。

二、CRF模型训练

1、语料库准备

hanlp提供了默认的训练模型，默认模型训练语料库为 OpenCorpus/pku98/199801.txt，随1.6.2以上版本发布。
语料库格式为人民日报2014语料格式：

1. 单词与词性之间使用/分割，如华尔街/nsf，且任何单词都必须有词性，包括标点等。
2. 单词与单词之间使用空格分割，如美国/nsf 华尔街/nsf 股市/n。
3. 支持用[]将多个单词合并为一个复合词，如[纽约/nsf 时报/n]/nz，复合词也必须遵守1和2两点规范。

训练时将满足上述格式的语料以纯文本txt导出到一个目录下即可。OpenCorpus/pku98/199801.txt即为一个单文档的例子，可供参考。

2、词性标注

HanLP使用的HMM词性标注模型训练自2014年人民日报切分语料，随后增加了少量98年人民日报中独有的词语。
本文所用到的词性标注包括：

• ns 地名
• q 量词
• m 数词

其余词性标注集如链接所示。
语料库示例：

3、训练

CRF模型训练可以直接使用在hanlp Java API进行，使用CRFSegmenter.train，确定好语料库和输出文件路径即可。

private static final String CWS_MODEL_PATH = "模型输出路径/文件名.txt";
public static void main(String[] args) throws IOException {
       CRFSegmenter segmenter = new CRFSegmenter(null);
       segmenter.train("语料库路径/文件名.txt", CWS_MODEL_PATH);
    }
1
2
3
4
5

训练过程为：

4、结果文件

生成结果文件为：

其中version说明了模型的版本，通过-c参数指定的cost-factor，maxid特征函数的最大id，xsize是特征维数，也就是训练语料列数-1。

训练时候用到的模板文件如下：

U0:%x[-1,0]    
U1:%x[0,0]
U2:%x[1,0]
U3:%x[-2,0]%x[-1,0]
U4:%x[-1,0]%x[0,0]
U5:%x[0,0]%x[1,0]
U6:%x[1,0]%x[2,0]
B
1
2
3
4
5
6
7
8

后面部分为特征函数和依照id顺序对应的特征函数权值：

5、BEMS标注

如果想采用CRF++的方法进行训练，也可以将其转换为CRF++支持的格式。CRF++是著名的条件随机场开源工具，也是目前综合性能最佳的CRF工具，有直接的工具包可以进行使用。CRF++工具包使用介绍

同时java-hanlp也提供了CRF++支持的语料库格式转换方法，该格式使用BEMS对文本进行标注。

public static void main(String[] args) throws IOException {
       CRFSegmenter segmenter = new CRFSegmenter(null);
       segmenter.convertCorpus("语料库路径/文件名.txt", "文件输出路径/文件名.tsv");
    }

1
2
3
4
5

BEMS所说是中科院的提出一种标注，也有说BEIS的，hanlp用的是BEMS
B：开始
E：结束
M/I：中间
S：单独成词的位置

HMM模型就采用了状态为(B,E,M,S)这四种状态来标记中文词语，比如北京可以标注为BE，即 北/B 京/E，表示“北”是开始位置，“京”是结束位置，“中华民族”可以标注为BMME，就是开始-中间-中间-结束。地址文本标注结果如下：

参考链接：CRF++模型格式说明

三、实验结果

将训练好的文本模型替换原语料库的模型。在hanlp.properties中进行路径设置，
若选择模型替换，模型路径参数直接缺省即可。或者使用HanLP.Config.CRFCWSModelPath读取新模型路径。

以下两种方式调用CRF分词均可。

public static void main(String[] args) throws IOException {
        CRFLexicalAnalyzer segment = new CRFLexicalAnalyzer(HanLP.Config.CRFCWSModelPath);
        System.out.println(HanLP.Config.CRFCWSModelPath);
        segment.enablePartOfSpeechTagging(true);
        System.out.println(segment.seg("湖北省荆州市荆州区珞南街道金山路29-9号"));

        CRFSegmenter segmenter = new CRFSegmenter();
        List<String> wordList = segmenter.segment("湖北省荆州市荆州区荆秘路266-1号");
        System.out.println(wordList);
        }
1
2
3
4
5
6
7
8
9
10

实验结果如下，成功满足项目需要。