jieba分词关键字含英文和特殊字符的处理方法_python jieba分词保留英文

1.默认情况

语句中关键字在含有英文和特殊字符时(machine-1234)，使用jieba往往将我们的关键词分割的非常零碎，比如：

# 默认情况
import jieba

str1 = "查找machine-1234的产品说明书"
for w in jieba.cut(str1):
    print(w)

# 运行结果
>>>查找
>>>machine
>>>-
>>>1234
>>>的
>>>产品
>>>说明书
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

2.利用自定义字典

通常情况下，我们可以加载预定义字典来包含词库里不存在的词，以达到正确分词的效果

# 利用用户自定义字典
import jieba

str1 = "查找machine-1234的产品说明书"
jieba.load_userdict("./external_dict/machines.txt")
for w in jieba.cut(str1):
    print(w)

# 运行结果
>>>查找
>>>machine-1234
>>>的
>>>产品
>>>说明书
1
2
3
4
5
6
7
8
9
10
11
12
13
14

3.利用正则表达式

但是，面对成千上万需要定义的关键字时(比如：machine-1到machine:b-123:*:*robot)，我们倾向于找到关键词的特定模式，通过利用正则表达式的方法，先提取关键词，再利用jieba.add_word()动态修改字典，这是一个更有效的方法。

import re
import jieba

str1 = "查找machine-1234的产品说明书instruction:*:*:yyyy:2020"

# 动态添加词组
spec_words = re.findall('[-.*:a-zA-Z0-9]+', str1)
for word in spec_words:
    jieba.add_word(word, tag='nz')

# 修改jieba包init.py中正则表达式
jieba.re_han_default = re.compile('(.+)', re.U)
for w in jieba.cut(str1):
    print(w)

# 运行结果
>>>查找
>>>machine-1234
>>>的
>>>产品
>>>说明书
>>>instruction:*:*:yyyy:2020
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22