개념
확률분포의 평균적인 불확실성을 재는 양. 섀넌의 1948년 이론은 정보원 부호화와 채널 통신의 한계를 서로 다른 정리와 조건으로 설명한다.
한 호흡으로 이해하기
확률이 낮은 기호일수록 더 많은 정보를 준다고 보고, 평균 불확실성을 비트로 잰다. 공정한 동전은 1비트이고 26개 영문자가 균등하다면 한 글자는 log₂26≈4.70비트다. 실제 언어에는 빈도와 문맥이 있어 값이 달라진다. 엔트로피는 무손실 압축 한계·통신·일부 학습 목적함수를 연결하지만, 압축·암호·학습 전체를 식 하나로 설명하지는 않는다.
한눈에 보기
p (앞면 확률) | H(p) [bits] | 의미 |
|---|---|---|
| 0 | 0 | 확실 (놀라움 없음) |
| 0.1 | 0.47 | |
| 0.25 | 0.81 | |
| 0.5 | 1 | 최대 — 가장 불확실 |
| 0.75 | 0.81 | |
| 0.9 | 0.47 | |
| 1 | 0 | 확실 |
p=0.5 (공정한 동전)에서 엔트로피 최대 = 1 비트.
핵심 식
메시지의 놀라움 = 평균 비트 수
풀이 예제
- 1
Q.공정한 6면 주사위의 엔트로피
핵심 순간
섀넌 — 《통신의 수학적 이론》
정보량·엔트로피·채널 용량을 확률 모형으로 연결했다. “bit”는 존 튜키의 제안으로 소개됐고 이 논문을 통해 널리 정착했다.
채널 부호화 정리
모형의 조건 아래 용량보다 낮은 전송률에서는 충분히 긴 부호로 오류확률을 임의로 작게 할 수 있음을 보였다. 모든 유한 전송의 무오류를 뜻하지 않는다.
Lempel–Ziv 계열 압축
반복 패턴을 사전처럼 재사용하는 무손실 압축 계열을 열었다. ZIP·gzip·PNG는 서로 다른 LZ 변형과 추가 부호화를 사용한다.
Polar code — 용량 달성의 구성적 예
아리칸은 특정 이진 무기억 채널에서 용량을 달성할 수 있는 명시적 부호 계열을 제시했다. 훗날 일부 5G 제어 채널에 채택됐다.
오늘날의 응용
데이터 압축의 이론적 한계(ZIP·MP3·JPEG), Wi-Fi/4G/5G의 채널 용량, 머신러닝의 손실함수(cross-entropy), 패스워드 강도 측정.
MathVoyage 너머로
불러오는 중…