学堂 学堂 学堂公众号手机端

怎么使用NLTK库统计词频

lewis 4年前 (2021-12-29) 阅读数 7 #技术

使用NLTK库统计词频可以按照以下步骤:

1.导入NLTK库和必要的模块:

import nltk
from nltk import FreqDist
from nltk.tokenize import word_tokenize

2.加载文本数据并进行分词:


text = "This is a sample text for calculating word frequency using NLTK library."
words = word_tokenize(text)

3.使用FreqDist类来统计词频并输出结果:

freq_dist = FreqDist(words)
print(freq_dist.most_common())

这将输出按照词频从高到低排列的词及其频数。如果需要查看特定词的频数,可以使用freq_dist['word']来获取该词的频数。

在实际应用中,可以使用NLTK库来处理大量文本数据并进行词频统计分析,从而帮助理解文本内容和特征。

版权声明

本文仅代表作者观点,不代表博信信息网立场。

热门