NLP中token总结_nlp token

Token 可以被理解为文本中的最小单位。在英文中，一个 token 可以是一个单词，也可以是一个标点符号。在中文中，通常以字或词作为 token。ChatGPT 将输入文本拆分成一个个 token，使模型能够对其进行处理和理解
在自然语言处理（NLP）中，“token” 是指文本中的一个基本单位，通常可以是一个单词、一个词组、一个标点符号、一个字符等，取决于文本处理的需求和方法。

将文本划分为若干个 token 是文本处理的第一步，这个过程被称为 “tokenization”

https://blog.csdn.net/David_house/article/details/131065079（具体的可以阅读这篇文章）