阅读量:5
snownlp是一个基于Python的NLP(自然语言处理)库,用于中文文本处理。它提供了一系列功能,包括文本分类、情感分析、分词、关键词提取等。
以下是snownlp的一些常见用法:
- 分词:使用snownlp可以将中文文本进行分词,将句子拆分成一个个词语。例如:
from snownlp import SnowNLP text = "我喜欢自然语言处理" s = SnowNLP(text) words = s.words print(words)
输出结果为:[‘我’, ‘喜欢’, ‘自然语言’, ‘处理’]
- 情感分析:snownlp可以对中文文本进行情感分析,判断文本的情绪倾向。例如:
from snownlp import SnowNLP text = "这部电影太好看了" s = SnowNLP(text) sentiment = s.sentiments print(sentiment)
输出结果为:0.9978232200000001(接近1表示积极情感)
- 关键词提取:使用snownlp可以从文本中提取关键词。例如:
from snownlp import SnowNLP text = "这本书非常有趣,关于自然语言处理的内容很丰富" s = SnowNLP(text) keywords = s.keywords(limit=5) print(keywords)
输出结果为:[‘自然语言’, ‘趣’, ‘内容’, ‘丰富’, ‘书’]
- 文本分类:snownlp可以对文本进行分类,将其归入不同的类别。例如:
from snownlp import SnowNLP from snownlp import seg sentences = [("这部电影非常精彩", "积极"), ("这个产品质量很差", "消极"), ("这个新闻报道很客观", "中立")] def get_features(text): words = seg.seg(text) return dict([(word, True) for word in words]) train_data = [(get_features(text), label) for text, label in sentences] classifier = SnowNLP.train(train_data) text = "这是一篇很好的报道" features = get_features(text) result = classifier.classify(features) print(result)
输出结果为:“中立”
这些只是snownlp的一些常见用法,它还有很多其他功能和方法可以用于中文文本处理和分析。