python如何对文本进行分词

在Python中，可以使用nltk（Natural Language Toolkit）或jieba库来对文本进行分词。以下是使用这两个库对文本进行分词的示例代码：

使用nltk库：

import nltk from nltk.tokenize import word_tokenize  text = "This is a sample text for tokenization."  tokens = word_tokenize(text) print(tokens) 

使用jieba库：

import jieba  text = "这是一个用于分词的示例文本。"  tokens = jieba.cut(text) print(list(tokens)) 

以上代码分别使用nltk和jieba库对文本进行分词，并输出分词结果。根据文本的语言和需求，可以选择合适的库进行分词操作。