Python 自然语言处理入门(1)，Python详解

上面代码的输出是go. 如果您为上述其他形式的“go”运行词干分析器，您会注意到词干分析器返回相同的基本形式“go”。但是，由于词干提取只是一种基于去除词缀的简单算法，因此当词在语言中不太常用时，它就会失败。

例如，当您尝试对单词“构成”进行词干分析时，它会给出不直观的结果：

print(stemmer.stem(“constitutes”))

您会注意到输出是“构成”。

这个问题通过转向一种更复杂的方法来解决给定上下文中单词的基本形式。该过程称为词形还原。词形还原根据文本的上下文和词汇对单词进行规范化。在 NLTK 中，您可以使用WordNetLemmatizer类对句子进行词形还原。

首先，您需要wordnet从 Python 终端中的 NLTK 下载器下载资源：

nltk.download(‘wordnet’)

下载后，您需要导入WordNetLemmatizer该类并对其进行初始化：

from nltk.stem.wordnet import WordNetLemmatizer

lem = WordNetLemmatizer()

要使用词形还原器，请使用.lemmatize()方法。它需要两个参数：单词和上下文。在我们的示例中，我们将使用“v”作为上下文。在查看方法的输出之后，让我们进一步探索上下文.lemmatize()：

print(lem.lemmatize(‘constitutes’, ‘v’))

您会注意到该.lemmatize()方法正确地将单词“构成”转换为其基本形式“构成”。您还会注意到词形还原比词干提取花费的时间更长，因为算法更复杂。

.lemmatize()让我们检查如何以编程方式确定方法的第二个参数。NLTK 具有pos_tag()帮助确定句子中单词上下文的功能。但是，您首先需要averaged_perceptron_tagger通过 NLTK 下载器下载资源：

nltk.download(‘averaged_perceptron_tagger’)

接下来，导入pos_tag()函数并在一句话上运行：

from nltk.tag import pos_tag

sample = “Hi, this is a nice hotel.”

print(pos_tag(word_tokenize(sample)))

您会注意到输出是对的列表。每对都由一个标记及其标记组成，它表示整个文本中标记的上下文。请注意，标点符号的标签本身就是：

[(‘Hi’, ‘NNP’),

(‘,’, ‘,’),

(‘this’, ‘DT’),

(‘is’, ‘VBZ’),

(‘a’, ‘DT’),

(‘nice’, ‘JJ’),

(‘hotel’, ‘NN’),

(‘.’, ‘.’)]

你如何解码每个令牌的上下文？以下是Web 上所有标签及其对应含义的完整列表。请注意，所有名词的标签都以“N”开头，所有动词的标签都以“V”开头。我们可以在.lemmatize()方法的第二个参数中使用此信息：

def lemmatize_tokens(stentence):

lemmatizer = WordNetLemmatizer()

lemmatized_tokens = []

for word, tag in pos_tag(stentence):

if tag.startswith(‘NN’):

pos = ‘n’

elif tag.startswith(‘VB’):

pos = ‘v’

else:

pos = ‘a’

lemmatized_tokens.append(lemmatizer.lemmatize(word, pos))

return lemmatized_tokens

sample = “Legal authority constitutes all magistrates.”

print(lemmatize_tokens(word_tokenize(sample)))

上面代码的输出如下：

[‘Legal’, ‘authority’, ‘constitute’, ‘all’, ‘magistrate’, ‘.’]

该输出是预期的，其中“构成”和“地方法官”已分别转换为“构成”和“地方法官”。

第三步：数据清理

---

准备数据的下一步是清理数据并删除任何不会对您的分析增加意义的内容。从广义上讲，我们将着眼于从您的分析中删除标点符号和停用词。

删除标点符号是一项相当容易的任务。该库的punctuation对象string包含所有英文标点符号：

import string

print(string.punctuation)

此代码段的输出如下：

‘!"#$%&amp;</span>’()*+,-./:;&lt;=&gt;?@[</span></span>]^_`{|}~’

为了从标记中删除标点符号，您可以简单地运行以下命令：

for token in tokens:

if token in string.punctuation:

# Do something

接下来，我们将专注于删除停用词。停用词是语言中的常用词，如“I”、“a”和“the”，在分析文本时对文本的意义不大。因此，我们将从分析中删除停用词。首先，stopwords从 NLTK 下载器下载资源：

nltk.download(‘stopwords’)

stopwords下载完成后，导入nltk.corpus并使用.words()以“english”为参数的方法。这是英语中 179 个停用词的列表：

from nltk.corpus import stopwords

stop_words = stopwords.words(‘english’)

我们可以将词形还原示例与本节中讨论的概念结合起来创建以下函数clean_data()。此外，在比较一个词是否是停用词列表的一部分之前，我们将其转换为小写。这样，如果停用词出现在句子的开头并且大写，我们仍然会捕获它：

def clean_data(tokens, stop_words = ()):

cleaned_tokens = []

for token, tag in pos_tag(tokens):

if tag.startswith(“NN”):

pos = ‘n’

elif tag.startswith(‘VB’):

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024c （备注Python）

最后

不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~

给大家准备的学习资料包括但不限于：

Python 环境、pycharm编辑器/永久激活/翻译插件

python 零基础视频教程

Python 界面开发实战教程

Python 爬虫实战教程

Python 数据分析实战教程

python 游戏开发实战教程

Python 电子书100本

Python 学习路线规划

一个人可以走的很快，但一群人才能走的更远。如果你从事以下工作或对以下感兴趣，欢迎戳这里加入程序员的圈子，让我们一起学习成长！

AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算

6,color_FFFFFF,t_70)

一个人可以走的很快，但一群人才能走的更远。如果你从事以下工作或对以下感兴趣，欢迎戳这里加入程序员的圈子，让我们一起学习成长！

AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算