Calculadora de entropía de Shannon

La entropía de Shannon mide matemáticamente la incertidumbre, la sorpresa o la información media de una distribución de probabilidad. Claude Shannon la introdujo al establecer las bases de la teoría de la información. Para resultados con probabilidades p, se calcula como la suma negativa de p por el logaritmo de p en base 2. Esta base expresa el resultado en bits y permite relacionarlo con la codificación binaria y la comunicación digital. Un suceso seguro tiene entropía cero: observarlo no aporta sorpresa. Una moneda equilibrada tiene un bit de entropía porque sus dos resultados son equiprobables. Cuatro resultados equiprobables tienen dos bits y ocho tienen tres bits. Con un número fijo de símbolos, la entropía es máxima cuando todos son igual de probables. Si la distribución se concentra en unos pocos resultados, las observaciones son más predecibles y la entropía disminuye. El modo de probabilidades admite decimales positivos separados por comas, espacios o punto y coma. Deben sumar uno, salvo pequeñas diferencias de redondeo de coma flotante. El modo de texto cuenta cada carácter del mensaje, convierte su frecuencia en probabilidad y aplica la misma fórmula. Los espacios y los signos de puntuación también son símbolos porque contienen información. La entropía por carácter permite comparaciones rápidas, pero no contempla dependencias entre caracteres vecinos. La entropía se utiliza en compresión de datos, teoría de códigos, árboles de decisión, criptografía, ecología, análisis lingüístico y aprendizaje automático. Un compresor puede asignar códigos más cortos a símbolos frecuentes; si los símbolos son independientes, la entropía establece un límite inferior teórico del promedio de bits necesarios. En clasificación, la ganancia de información compara la entropía antes y después de dividir los datos. En seguridad, una entropía observada alta puede sugerir aleatoriedad, pero no demuestra por sí sola que una contraseña, clave o generador sea seguro. Interpreta los resultados según el número de resultados posibles y la definición de los símbolos. Comparar entropías sin ajustar entre alfabetos de distinto tamaño puede ser engañoso; el máximo mostrado aporta contexto. Las muestras pequeñas también pueden generar frecuencias inestables. Usa datos representativos, conserva los símbolos relevantes y combina la entropía con conocimientos del área. Esta calculadora ofrece resultados transparentes y deterministas para la enseñanza y el análisis exploratorio.