Shannon-Entropie-Rechner

Die Shannon-Entropie ist ein mathematisches Maß für Unsicherheit, Überraschung oder mittleren Informationsgehalt einer Wahrscheinlichkeitsverteilung. Claude Shannon führte sie bei der Begründung der Informationstheorie ein. Für Ergebnisse mit Wahrscheinlichkeiten p ist sie die negative Summe aus p mal dem Logarithmus von p zur Basis 2. Dadurch wird das Ergebnis in bits ausgedrückt und lässt sich mit binärer Codierung und digitaler Kommunikation verbinden. Ein sicheres Ereignis hat Entropie null, da seine Beobachtung nicht überrascht. Eine faire Münze hat ein bit Entropie, weil ihre beiden Ergebnisse gleich wahrscheinlich sind. Vier gleich wahrscheinliche Ergebnisse haben zwei bits, acht haben drei bits. Bei fester Symbolanzahl ist die Entropie maximal, wenn alle Symbole gleich wahrscheinlich sind. Konzentriert sich die Verteilung auf wenige wahrscheinliche Ergebnisse, werden Beobachtungen vorhersehbarer und die Entropie sinkt. Der Wahrscheinlichkeitsmodus akzeptiert positive Dezimalwahrscheinlichkeiten, getrennt durch Kommas, Leerzeichen oder Semikolons. Ihre Summe muss bis auf geringe Gleitkomma-Rundungsabweichungen eins ergeben. Der Textmodus zählt jedes Zeichen der Nachricht, wandelt dessen Häufigkeit in eine Wahrscheinlichkeit um und verwendet dieselbe Formel. Auch Leerzeichen und Satzzeichen gelten als Symbole, da sie Information tragen. Zeichenentropie eignet sich für schnelle Vergleiche, berücksichtigt aber keine Abhängigkeiten benachbarter Zeichen. Entropie wird bei Datenkompression, Codierungstheorie, Entscheidungsbäumen, Kryptografie, Ökologie, Sprachanalyse und maschinellem Lernen verwendet. Ein Kompressor kann häufige Symbole kürzer codieren; bei unabhängigen Symbolen setzt die Entropie eine theoretische Untergrenze für die durchschnittlich benötigten bits. In der Klassifikation vergleicht der Informationsgewinn die Entropie vor und nach einer Datenaufteilung. Bei Sicherheitsanalysen kann eine hohe beobachtete Entropie auf Zufälligkeit hinweisen, beweist aber allein nicht die Sicherheit eines Passworts, Schlüssels oder Generators. Interpretiere Ergebnisse im Verhältnis zur Zahl möglicher Ergebnisse und zur Definition der Symbole. Rohwerte verschiedener Alphabetgrößen direkt zu vergleichen kann irreführen; das angezeigte Maximum bietet Orientierung. Kleine Stichproben können zudem instabile Häufigkeitsschätzungen liefern. Verwende repräsentative Daten, erhalte aussagekräftige Symbole und beziehe Fachwissen ein. Dieser Rechner liefert transparente, deterministische Ergebnisse für Bildung und explorative Analysen.