섀넌 엔트로피 계산기

섀넌 엔트로피는 확률 분포의 불확실성, 놀라움 또는 평균 정보량을 나타내는 수학적 척도입니다. 클로드 섀넌이 정보 이론의 기초를 세우며 도입했습니다. 각 결과의 확률이 p이면, 엔트로피는 p와 p의 밑이 2인 로그를 곱한 값을 모두 더한 뒤 부호를 바꾼 값입니다. 밑이 2인 로그를 쓰므로 결과를 bits로 표현하며, 이진 부호화 및 디지털 통신과 연결해 이해할 수 있습니다. 확실한 사건은 관측해도 놀라움이 없으므로 엔트로피가 0입니다. 공정한 동전은 두 결과의 확률이 같아 엔트로피가 한 bit입니다. 같은 확률의 결과가 네 개이면 두 bits, 여덟 개이면 세 bits입니다. 가능한 기호 수가 고정되어 있을 때 모든 기호의 확률이 같으면 엔트로피가 최대가 됩니다. 소수의 유력한 결과에 분포가 집중되면 관측을 예측하기 쉬워져 엔트로피가 줄어듭니다. 확률 모드는 쉼표, 공백 또는 세미콜론으로 구분된 양의 소수 확률을 받습니다. 미세한 부동소수점 반올림 차이를 제외하면 합은 1이어야 합니다. 텍스트 모드는 메시지의 모든 문자를 세어 각 빈도를 확률로 바꾼 뒤 같은 공식을 적용합니다. 공백과 문장 부호도 정보를 담으므로 기호로 취급합니다. 문자 단위 엔트로피는 빠른 비교에 유용하지만 인접 문자 사이의 의존성은 고려하지 않습니다. 엔트로피는 데이터 압축, 부호 이론, 의사결정 나무, 암호학, 생태학, 언어 분석, 머신러닝에 쓰입니다. 압축기는 자주 나오는 기호에 더 짧은 코드를 할당할 수 있으며, 기호가 독립일 때 엔트로피는 평균적으로 필요한 bits 수의 이론적 하한을 제시합니다. 분류에서 정보 이득은 데이터 분할 전후의 엔트로피를 비교합니다. 보안 분석에서 높은 관측 엔트로피는 무작위성을 시사할 수 있지만, 이것만으로 비밀번호, 키 또는 생성기의 안전성을 입증할 수는 없습니다. 결과는 가능한 결과 수와 기호를 정의한 방식에 비추어 해석하세요. 크기가 다른 기호 집합의 원시 엔트로피를 비교하면 오해할 수 있으므로 표시된 최댓값을 참고하세요. 작은 표본에서는 빈도 추정도 불안정할 수 있습니다. 대표성 있는 데이터를 쓰고 의미 있는 기호를 보존하며 분야 지식을 함께 활용하세요. 이 계산기는 교육과 탐색적 분석을 위한 투명하고 결정적인 결과를 제공합니다.