夏農熵計算器

夏農熵是衡量機率分布中不確定性、意外程度或平均資訊量的數學指標。克勞德·夏農在奠定資訊理論基礎時提出這個概念。對於機率為 p 的各個結果，熵等於所有 p 乘以 p 的以 2 為底的對數之和的負值。以 2 為底的對數讓結果以 bits 表示，方便連結二進位編碼與數位通訊。 必然事件的熵為零，因為觀察它不會帶來意外。公平硬幣有兩個等機率結果，熵為一個 bit。四個等機率結果的熵為兩個 bits，八個則為三個 bits。可能符號數量固定時，所有符號等機率出現可達到最大熵。當分布集中在少數較可能的結果上時，觀察結果更容易預測，熵也隨之降低。 機率模式接受以逗號、空格或分號分隔的正小數機率。除了微小的浮點捨入誤差外，總和必須為一。文字模式統計訊息中的每個字元，將各字元頻率轉換為機率，再套用相同的熵公式。空格與標點也攜帶資訊，因此同樣視為符號。字元層級的熵適合快速比較，但不考慮相鄰字元之間的相依關係。 熵廣泛用於資料壓縮、編碼理論、決策樹、密碼學、生態學、語言分析及機器學習。壓縮器可為常見符號配置較短的編碼；當符號彼此獨立時，熵提供平均所需 bits 數的理論下限。在分類工作中，資訊增益比較資料分割前後的熵。在安全分析中，較高的觀測熵可能表示隨機性，但僅憑熵無法證明密碼、金鑰或產生器安全。 解讀結果時，應考量可能結果的數量與符號定義。直接比較不同大小字母表的原始熵可能造成誤解，因此顯示的最大熵可提供參考。小樣本也可能導致頻率估計不穩定。評估不確定性時，應使用具代表性的資料、保留有意義的符號，並結合領域知識。本計算器提供透明且具確定性的結果，適用於教學與探索性分析。