詞頻統計

📊 Word Frequency Counter

Tokenise Chinese and English text and rank word frequency, with stop-word filtering and minimum word length, reporting unique words, lexical richness (TTR) and the top frequent terms.

📐 統計口徑
詞頻佔比 = 該詞出現次數 ÷ 展示詞合計次數 × 100%  TTR = 唯一詞數 ÷ 總詞次

英文按 [a-z]+ 正則切詞(可選忽略大小寫、可選停用詞過濾);中文按連續漢字串切分後取 最小詞長(預設 2 字)的滑窗,逐窗計數,因此「測試」一詞在「測試文本測試」中計 2 次。所有統計量都基於過濾後的詞表:總詞次 = 全部詞的次數之和,唯一詞數 = 不同詞形個數,詞彙豐富度 TTR = 唯一詞數 ÷ 總詞次(越高說明用詞越分散),首詞佔比 與 前 10 詞累計佔比 反映詞頻集中度。

📊 詞頻結果

請輸入文本進行分析...

📚 深度解析:詞頻統計(中英文分詞 · TTR · Top N)

💡 常見使用場景

  • 關鍵詞提取:從訪談記錄、使用者評論、問卷開放題裡抽出高頻詞
  • 文案自檢:檢查用詞重複、口頭禪過多、同義詞混用
  • 語言學習:用 TTR 衡量一段英文寫作的詞彙豐富度
  • 主題摸底:做詞雲或主題聚類前先跑一輪詞頻,確認語料是否夠用
方法
英文按 [a-z]+ 切詞(可選忽略大小寫、可選停用詞過濾),中文按連續漢字串切分後按最小詞長取視窗,逐詞累計次數後按頻次降序排列。頁面同時輸出六項指標:唯一詞數、總詞次、詞彙豐富度 TTR = 唯一詞數 ÷ 總詞次、首詞佔比、前 10 詞累計佔比、長詞數(≥5 字元),下方明細表給出每個詞的次數與佔比。
算例
文本 "Hello world. Hello ToolBox. This is a test. This is only a test.",最小詞長 2、開啟停用詞過濾 → 唯一詞數 5、總詞次 7、TTR 71.43%、首詞佔比 28.57%,其中 hello 與 test 各出現 2 次(各佔 28.57%)。關閉停用詞過濾後唯一詞數升到 8、總詞次升到 13、TTR 降到 61.54%。空白輸入會提示先輸入文本。

❓ 常見問題(FAQ)

為什麼中文分詞結果和分詞軟體不一樣?
本工具用的是輕量切分:把連續漢字串切開後按最小詞長取視窗,沒有詞典與詞性模型,所以「測試文本」這類串可能同時產出整串與其中的短視窗。做嚴格的詞頻調研時請用專業分詞工具複核,或把最小詞長調大以過濾碎片。
TTR 高低怎麼判斷?
TTR 隨文本長度自然下降:幾百詞的短文常在 60%~80%,上萬詞的長文降到 30% 以下都屬正常。它的用途是比較篇幅相當的兩段文本用詞是否更豐富,跨長度比較沒有意義;必要時可先擷取等長片段再比。
停用詞過濾會改變什麼?
開啟後 the / a / of / is 之類高頻虛詞會被剔除,總詞次與唯一詞數同時下降,剩下的詞更接近主題詞;但佔比口徑的分母也變小了,所以兩份文本要在同一開關狀態下比較。
⚠️ 使用說明與注意事項
📖關於「詞頻統計」 ▼

📝工具簡介

對中英文文本分詞並統計詞頻:可開關英文停用詞過濾、忽略大小寫、只統計英文或只統計中文,還能限定最小詞長與 Top N。一次輸出唯一詞數、總詞次、詞彙豐富度 TTR、首詞佔比、前 10 詞累計佔比與長詞數六項指標,並按頻次排序列出高頻詞及佔比。

✨功能特點

🎯使用場景