Tokenise Chinese and English text and rank word frequency, with stop-word filtering and minimum word length, reporting unique words, lexical richness (TTR) and the top frequent terms.
英文按 [a-z]+ 正则切词(可选忽略大小写、可选停用词过滤);中文按连续汉字串切分后取 最小词长(默认 2 字)的滑窗,逐窗计数,因此「测试」一词在「测试文本测试」中计 2 次。所有统计量都基于过滤后的词表:总词次 = 全部词的次数之和,唯一词数 = 不同词形个数,词汇丰富度 TTR = 唯一词数 ÷ 总词次(越高说明用词越分散),首词占比 与 前 10 词累计占比 反映词频集中度。
对中英文文本分词并统计词频:可开关英文停用词过滤、忽略大小写、只统计英文或只统计中文,还能限定最小词长与 Top N。一次输出唯一词数、总词次、词汇丰富度 TTR、首词占比、前 10 词累计占比与长词数六项指标,并按频次排序列出高频词及占比。