Калькулятор энтропии Шеннона

Энтропия Шеннона — математическая мера неопределённости, неожиданности или среднего количества информации в распределении вероятностей. Клод Шеннон ввёл её, закладывая основы теории информации. Для исходов с вероятностями p энтропия равна сумме произведений p на логарифм p по основанию 2, взятой со знаком минус. Основание 2 даёт результат в bits и связывает его с двоичным кодированием и цифровой связью. Достоверное событие имеет нулевую энтропию: его наблюдение не приносит неожиданности. У честной монеты два равновероятных исхода, поэтому её энтропия равна одному bit. Четыре равновероятных исхода дают два bits, восемь — три bits. При фиксированном числе символов энтропия максимальна, когда все они равновероятны. Если распределение сосредоточено на нескольких вероятных исходах, наблюдения становятся предсказуемее и энтропия снижается. Режим вероятностей принимает положительные десятичные вероятности через запятые, пробелы или точки с запятой. Их сумма должна равняться единице с допуском на малые погрешности округления чисел с плавающей точкой. Текстовый режим подсчитывает каждый символ сообщения, преобразует его частоту в вероятность и применяет ту же формулу. Пробелы и пунктуация также считаются символами, поскольку несут информацию. Посимвольная энтропия удобна для быстрого сравнения, но не учитывает зависимости соседних символов. Энтропия применяется в сжатии данных, теории кодирования, деревьях решений, криптографии, экологии, анализе языка и машинном обучении. При сжатии частым символам можно назначать более короткие коды; для независимых символов энтропия задаёт теоретический нижний предел среднего числа необходимых bits. В классификации прирост информации сравнивает энтропию до и после разбиения данных. При анализе безопасности высокая наблюдаемая энтропия может указывать на случайность, но сама по себе не доказывает надёжность пароля, ключа или генератора. Интерпретируйте результат с учётом числа возможных исходов и определения символов. Прямое сравнение энтропии алфавитов разного размера может вводить в заблуждение, поэтому показанный максимум даёт полезный ориентир. Малые выборки также могут давать неустойчивые оценки частот. Используйте репрезентативные данные, сохраняйте значимые символы и привлекайте знания предметной области. Калькулятор даёт прозрачный детерминированный результат для обучения и разведочного анализа.