机器学习--文本分析（jieba）（9）_机器学习中分析文本的方法

一、jieba

jieba分词有三种拆词模式：

jieba.cut(cut_all=False) # 精确模式 适用于文本分析（建模）
jieba.cut(cut_all=True) # 全模式 适合搜索引擎
jieba.cut_for_search() # 搜索引擎模式

cut方法拆完是一个生成器对象

jieba.lcut(cut_all=False) # 精确模式 适用于文本分析（建模）
jieba.lcut(cut_all=True) # 全模式 适合搜索引擎
jieba.lcut_for_search() # 搜索引擎模式

lcut方法拆完是一个列表

二、练习

2.1 词云图制作

import wordcloud
import jieba
import numpy as np
import pandas as pd
from PIL import Image
import matplotlib.pyplot as plt

douyin = pd.read_csv('douyin.csv')

# 导入停用词列表
stopwords = pd.read_csv('stopwords.txt',encoding='gbk',header=None, error_bad_lines=False)[0].values.tolist()
stopwords1 = ['️', '！', '—',  '❤',',','•']

content = ""
for i  in douyin['signature'].v
1
2
3
4
5
6
7
8
9
10
11
12
13
14