Calculadora de entropia de Shannon

A entropia de Shannon é uma medida matemática da incerteza, surpresa ou informação média de uma distribuição de probabilidade. Claude Shannon a introduziu ao estabelecer as bases da teoria da informação. Para resultados com probabilidades p, calcula-se o negativo da soma de p multiplicado pelo logaritmo de p na base 2. Essa base expressa o resultado em bits, facilitando a relação com a codificação binária e a comunicação digital. Um evento certo tem entropia zero, pois observá-lo não traz surpresa. Uma moeda equilibrada tem um bit de entropia porque seus dois resultados são equiprováveis. Quatro resultados equiprováveis têm dois bits, e oito têm três bits. Para um número fixo de símbolos, a entropia é máxima quando todos têm a mesma probabilidade. Quando a distribuição se concentra em poucos resultados prováveis, as observações ficam mais previsíveis e a entropia diminui. O modo de probabilidades aceita decimais positivos separados por vírgulas, espaços ou ponto e vírgula. A soma deve ser um, exceto por pequenas diferenças de arredondamento de ponto flutuante. O modo de texto conta cada caractere da mensagem, converte sua frequência em probabilidade e aplica a mesma fórmula. Espaços e pontuação também são símbolos porque carregam informação. A entropia por caractere permite comparações rápidas, mas não considera dependências entre caracteres vizinhos. A entropia aparece na compressão de dados, teoria da codificação, árvores de decisão, criptografia, ecologia, análise linguística e aprendizado de máquina. Um compressor pode atribuir códigos menores a símbolos frequentes; quando os símbolos são independentes, a entropia estabelece um limite inferior teórico para a média de bits necessários. Na classificação, o ganho de informação compara a entropia antes e depois da divisão dos dados. Em segurança, uma entropia observada alta pode indicar aleatoriedade, mas não prova, sozinha, que uma senha, chave ou gerador seja seguro. Interprete os resultados considerando o número de resultados possíveis e a definição dos símbolos. Comparar entropias brutas entre alfabetos de tamanhos diferentes pode induzir ao erro; o máximo exibido oferece uma referência. Amostras pequenas também podem gerar estimativas instáveis de frequência. Use dados representativos, preserve símbolos relevantes e combine a entropia com conhecimento da área. Esta calculadora oferece resultados transparentes e determinísticos para ensino e análise exploratória.