香农熵计算器

香农熵是衡量概率分布中不确定性、意外程度或平均信息量的数学指标。克劳德·香农在奠定信息论基础时提出了这一概念。对于概率为 p 的各个结果，熵等于所有 p 乘以 p 的以 2 为底的对数之和的负值。以 2 为底的对数使结果以 bits 表示，便于联系二进制编码和数字通信。 必然事件的熵为零，因为观察它不会带来意外。公平硬币有两个等概率结果，熵为一个 bit。四个等概率结果的熵为两个 bits，八个则为三个 bits。在可能符号数量固定时，所有符号等概率出现可达到最大熵。当分布集中在少数较可能的结果上时，观察结果更容易预测，熵也随之降低。 概率模式接受用逗号、空格或分号分隔的正小数概率。除微小的浮点舍入误差外，其总和必须为一。文本模式统计消息中的每个字符，将各字符频率转换为概率，再使用同一熵公式。空格和标点也携带信息，因此同样视为符号。字符级熵适合快速比较，但不考虑相邻字符之间的依赖关系。 熵广泛用于数据压缩、编码理论、决策树、密码学、生态学、语言分析和机器学习。压缩器可为常见符号分配更短的编码；当符号相互独立时，熵给出了平均所需 bits 数的理论下限。在分类任务中，信息增益比较数据划分前后的熵。在安全分析中，较高的观测熵可能意味着随机性，但仅凭熵无法证明密码、密钥或生成器安全。 解读结果时，应结合可能结果的数量及符号定义。直接比较不同大小字母表的原始熵可能产生误导，因此显示的最大熵可作为参考。小样本也可能导致频率估计不稳定。评估不确定性时，应使用有代表性的数据、保留有意义的符号，并结合领域知识。本计算器提供透明、确定性的结果，适用于教学和探索性分析。