词频统计

📊 Word Frequency Counter

Tokenise Chinese and English text and rank word frequency, with stop-word filtering and minimum word length, reporting unique words, lexical richness (TTR) and the top frequent terms.

📐 统计口径
词频占比 = 该词出现次数 ÷ 展示词合计次数 × 100%  TTR = 唯一词数 ÷ 总词次

英文按 [a-z]+ 正则切词(可选忽略大小写、可选停用词过滤);中文按连续汉字串切分后取 最小词长(默认 2 字)的滑窗,逐窗计数,因此「测试」一词在「测试文本测试」中计 2 次。所有统计量都基于过滤后的词表:总词次 = 全部词的次数之和,唯一词数 = 不同词形个数,词汇丰富度 TTR = 唯一词数 ÷ 总词次(越高说明用词越分散),首词占比 与 前 10 词累计占比 反映词频集中度。

📊 词频结果

请输入文本进行分析...

📚 深度解析:词频统计(中英文分词 · TTR · Top N)

💡 常见使用场景

  • 关键词提取:从访谈记录、用户评论、问卷开放题里抽出高频词
  • 文案自检:检查用词重复、口头禅过多、同义词混用
  • 语言学习:用 TTR 衡量一段英文写作的词汇丰富度
  • 主题摸底:做词云或主题聚类前先跑一轮词频,确认语料是否够用
方法
英文按 [a-z]+ 切词(可选忽略大小写、可选停用词过滤),中文按连续汉字串切分后按最小词长取窗口,逐词累计次数后按频次降序排列。页面同时输出六项指标:唯一词数、总词次、词汇丰富度 TTR = 唯一词数 ÷ 总词次、首词占比、前 10 词累计占比、长词数(≥5 字符),下方明细表给出每个词的次数与占比。
算例
文本 "Hello world. Hello ToolBox. This is a test. This is only a test.",最小词长 2、开启停用词过滤 → 唯一词数 5、总词次 7、TTR 71.43%、首词占比 28.57%,其中 hello 与 test 各出现 2 次(各占 28.57%)。关闭停用词过滤后唯一词数升到 8、总词次升到 13、TTR 降到 61.54%。空白输入会提示先输入文本。

❓ 常见问题(FAQ)

为什么中文分词结果和分词软件不一样?
本工具用的是轻量切分:把连续汉字串切开后按最小词长取窗口,没有词典与词性模型,所以「测试文本」这类串可能同时产出整串与其中的短窗口。做严格的词频调研时请用专业分词工具复核,或把最小词长调大以过滤碎片。
TTR 高低怎么判断?
TTR 随文本长度自然下降:几百词的短文常在 60%~80%,上万词的长文降到 30% 以下都属正常。它的用途是比较篇幅相当的两段文本用词是否更丰富,跨长度比较没有意义;必要时可先截取等长片段再比。
停用词过滤会改变什么?
开启后 the / a / of / is 之类高频虚词会被剔除,总词次与唯一词数同时下降,剩下的词更接近主题词;但占比口径的分母也变小了,所以两份文本要在同一开关状态下比较。
⚠️ 使用说明与注意事项
📖关于「词频统计」 ▼

📝工具简介

对中英文文本分词并统计词频:可开关英文停用词过滤、忽略大小写、只统计英文或只统计中文,还能限定最小词长与 Top N。一次输出唯一词数、总词次、词汇丰富度 TTR、首词占比、前 10 词累计占比与长词数六项指标,并按频次排序列出高频词及占比。

✨功能特点

🎯使用场景