Tokenise Chinese and English text and rank word frequency, with stop-word filtering and minimum word length, reporting unique words, lexical richness (TTR) and the top frequent terms.
英文按 [a-z]+ 正則切詞(可選忽略大小寫、可選停用詞過濾);中文按連續漢字串切分後取 最小詞長(預設 2 字)的滑窗,逐窗計數,因此「測試」一詞在「測試文本測試」中計 2 次。所有統計量都基於過濾後的詞表:總詞次 = 全部詞的次數之和,唯一詞數 = 不同詞形個數,詞彙豐富度 TTR = 唯一詞數 ÷ 總詞次(越高說明用詞越分散),首詞佔比 與 前 10 詞累計佔比 反映詞頻集中度。
對中英文文本分詞並統計詞頻:可開關英文停用詞過濾、忽略大小寫、只統計英文或只統計中文,還能限定最小詞長與 Top N。一次輸出唯一詞數、總詞次、詞彙豐富度 TTR、首詞佔比、前 10 詞累計佔比與長詞數六項指標,並按頻次排序列出高頻詞及佔比。