中文文本预处理

一、文本数据准备

       使用已经有的语料库，按照Python读取文本内容的方法读取文本文件内容。此处为了一步步演示过程，所以先使用句子，最后再整合。

二、去除指定无用的符号

    我们爬取到的文本有时候会有很多空格或者是其他一些无用的符号，如果保留这些符号，在分词的时候这些符号也会被分出来，就会导致分词的结果不是很好。这个时候我们就可以用replace()这个方法去掉所有你不想要的符号：

         1. 去除空格

contents = '   大家好， 欢迎一起来学习文本的空格   去除   ！'
print('处理前文本：'+contents)
def process(our_data):     #定义函数
    content = our_data.replace(' ','')   # 去掉文本中的空格
    print('处理后文本：'+content)
process(contents)

处理前文本：   大家好， 欢迎一起来学习文本的空格   去除   ！
处理后文本：大家好，欢迎一起来学习文本的空格去除！

     2. 去除空格的同时把省略号转换为句号

contents = '   大家好， 这里还有  很多的知识...一起拉学习吧 ！'
print('处理前文本：'+contents)
def process(data):     #定义函数
    content1 = data.replace(' ','')    # 去掉文本中的空格
    content2 = content1.replace('...',',')    # 去掉文本中的空格
    print('处理后文本：'+content2)
process(contents)

处理前文本：   大家好， 这里还有  很多的知识...一起拉学习吧 ！
处理后文本：大家好，这里还有很多的知识,一起拉学习吧！

三、让文本只保留汉字

   我们在处理文本时通常只针对文字，而符号、数字等是没有意义的，如果一项项的分开去除，那样就会浪费时间，所以想只留下汉子时，我们可以采用下列方法：

def is_chinese(uchar):
    if uchar >= u'\u4e00' and uchar <= u'\u9fa5':  # 判断一个uchar是否是汉字
        return True
    else:
        return False
 
def allcontents(contents):
    content = ''
    for i in contents:
        if is_chinese(i):
            content = content+i
    print('\n处理后的句子为:\n'+content)
 
centents = '1,2,3...我们开始吧， 加油！'
print('原句子为:\n'+centents)
allcontents(centents)

原句子为：1,2,3...我们开始吧， 加油！

处理后的句子为：我们开始吧加油

四、文本中的表情符号去除

     有的时候文本需要保留原来的样子，数字、汉字、英文、常规句子符号，而去除掉其他的东西，那么可以使用下面的方法：

import re
sentence='现在听着音乐,duo rui mi,很开心*_*'
print('原句子为:\n'+sentence)
 
def clear_character(sentence):    
    pattern = re.compile("[^\u4e00-\u9fa5^,^.^!^a-z^A-Z^0-9]")  #只保留中英文、数字和符号，去掉其他东西
    #若只保留中英文和数字，则替换为[^\u4e00-\u9fa5^a-z^A-Z^0-9]
    line=re.sub(pattern,'',sentence)  #把文本中匹配到的字符替换成空字符
    new_sentence=''.join(line.split())    #去除空白
    print('\n处理后的句子为:\n'+new_sentence) 
 
clear_character(sentence)

注意： 保留的符号需要注意是在中英文的哪个环境下，如果都要保留，就得继续添加在 re.compile() 里面。

运行结果：

原句子为：现在听着音乐,duo rui mi,很开心*_*

处理后的句子为：现在听着音乐,duoruimi,很开心

五、繁体中文与简体中文转换

 当我们尽心文本处理时，如果文本中既有繁体也有简体，那处理起来有些不方便，为此，需要根据实际所需，进行繁体中文与简体中文的转换，在使用下列方法之前，需要通过语句：pip install openccpy 安装一下OpenccPy。OpenccPy是一款 python 中文繁简体转换工具。
  

from opencc import OpenCC
 
sentence = '你现在读的这里是简体，這裡是繁體，能看懂嗎？'
print('原句子为:\n'+sentence)
 
 
def Simplified(sentence):
    new_sentence = Converter('zh-hans').convert(sentence)   # 繁体转为简体
    print('\n处理后的句子为:\n'+new_sentence) 
 
def Traditional(sentence):
    new_sentence = Converter('zh-hant').convert(sentence)   # 简体转为繁体
    print('\n处理后的句子为:\n'+new_sentence) 
 
Simplified(sentence)

原句子为：你现在读的这里是简体，這裡是繁體，能看懂嗎？

处理后的句子为：你现在读的这里是简体，这里是繁体，能看懂吗？