1
AD 1928장면 1 / 5뉴욕
나이퀴스트와 하틀리 — 대역폭과 로그 정보량
나이퀴스트는 구별 가능한 신호율과 대역폭을, 하틀리는 등확률 선택 수의 로그를 다뤘다. 둘 다 섀넌 엔트로피나 잡음 채널 용량과 같은 정리는 아니다.
기록된 장소와 지도 기준점이 일치하는 장면
이 장면을 지도에서 이어 보기이 개념의 출항 질문
우연에서 신호 읽기7 / 11번째 항구“메시지의 뜻을 읽지 않고도 불확실성을 잴 수 있을까?”
두 직관이 부딪히는 곳
의미를 버리고 기호의 놀라움만 재자, 압축과 통신의 한계를 계산할 수 있게 되었다.
이 항로는 이해를 돕는 편집 경로입니다. 직접적인 역사 영향선이나 한 사람의 단독 발명을 뜻하지 않습니다.
한 호흡으로 이해하기
확률이 낮은 기호일수록 더 많은 정보를 준다고 보고, 평균 불확실성을 비트로 잰다. 공정한 동전은 1비트이고 26개 영문자가 균등하다면 한 글자는 log₂26≈4.70비트다. 실제 언어에는 빈도와 문맥이 있어 값이 달라진다. 나이퀴스트의 대역폭 경계와 하틀리의 로그 측정 위에서 섀넌은 확률분포의 평균과 잡음 채널을 한 틀에 놓았다. 엔트로피는 무손실 압축 한계·통신·일부 학습 목적함수를 연결하지만, 뜻의 깊이·암호의 안전성·개별 파일의 ZIP 크기를 식 하나로 재지는 않는다.
한눈에 보기
p (앞면 확률) | H(p) [bits] | 의미 |
|---|---|---|
| 0 | 0 | 확실 (놀라움 없음) |
| 0.1 | 0.47 | |
| 0.25 | 0.81 | |
| 0.5 | 1 | 최대 — 가장 불확실 |
| 0.75 | 0.81 | |
| 0.9 | 0.47 | |
| 1 | 0 | 확실 |
p=0.5 (공정한 동전)에서 엔트로피 최대 = 1 비트.
개념
확률분포의 평균적인 불확실성을 비트로 재는 양. 섀넌의 1948년 이론은 나이퀴스트·하틀리의 전신 연구 위에서 정보원 부호화와 잡음 채널의 한계를 서로 다른 정리와 조건으로 설명한다. 뜻의 깊이나 한 파일의 실제 압축 크기를 직접 재는 값은 아니다.
핵심 식
메시지의 놀라움 = 평균 비트 수
풀이 예제
- 1
Q.공정한 6면 주사위의 엔트로피
시간의 항구
이 개념은 한 번에 발명되지 않았습니다
장면을 따라가면 문제, 표기, 증명 기준과 쓰임이 서로 다른 장소와 시대에서 어떻게 바뀌었는지 보입니다.
2
AD 1948장면 2 / 5뉴저지
섀넌 — 《통신의 수학적 이론》
정보원 엔트로피와 채널 용량을 확률적 통신 모형 안에 정의했다. 이 정보량은 메시지의 의미를 일부러 추상화한다.
기록된 장소와 지도 기준점이 일치하는 장면
이 장면을 지도에서 이어 보기3
AD 1950장면 3 / 5뉴저지
해밍 부호 — 뒤집힌 한 비트 찾기
중복 비트를 여러 패리티 좌표로 배치해 한 비트 오류 위치를 찾아 고쳤다. 해밍(7,4)은 임의의 손상을 복구하는 일반 보장이 아니다.
기록된 장소와 지도 기준점이 일치하는 장면
이 장면을 지도에서 이어 보기4
AD 1977장면 4 / 5하이파
Lempel–Ziv 계열 압축
분포를 미리 몰라도 반복 패턴을 사전처럼 재사용하는 무손실 압축 계열을 열었다. ZIP·gzip·PNG는 서로 다른 LZ 변형과 추가 부호화를 사용하므로 구절 수가 곧 파일 바이트 수는 아니다.
기록된 장소와 지도 기준점이 일치하는 장면
이 장면을 지도에서 이어 보기5
AD 2009장면 5 / 5앙카라
Polar code — 용량 달성의 구성적 예
아리칸은 대칭 이진입력 무기억 채널의 용량을 점근적으로 달성하는 명시적 부호 계열을 제시했다. 후속 유한 길이 개선이 일부 5G 제어 채널에 채택됐지만 5G 전체가 극부호인 것은 아니다.
기록된 장소와 지도 기준점이 일치하는 장면
이 장면을 지도에서 이어 보기오늘날의 응용
무손실 압축의 이론적 한계와 Huffman·LZ 계열, Wi-Fi·4G·5G의 오류 정정·채널 설계, 머신러닝의 교차 엔트로피. MP3·JPEG 같은 손실 압축에는 허용 왜곡이라는 별도 조건이 필요하다.
MathVoyage 너머로
큐레이터가 고른 원전과 탐구 과제. OEIS·Project Euler·MathOverflow·arXiv에서는 발견 하나를 수첩으로 가져올 수 있습니다.
- 위키백과
- Wolfram MathWorld
- 3Blue1Brown
한 사람이 만든 개념이 아닙니다
역할이 다른 사람들을 따라가기
대표 연결은 발명자 명단이 아닙니다. 문제를 열고, 언어를 다듬고, 다른 세계로 옮긴 서로 다른 항구입니다.
수의 렌즈
같은 개념도 수의 세계가 바뀌면 다르게 보입니다
아래 수는 필수 선수 조건이 아니라 이 항로를 비추는 편집 렌즈입니다.
개념의 계보
무엇을 딛고, 무엇을 열었을까?
직접 연결만 표시하며 완전한 학습 순서나 역사 영향선을 뜻하지 않습니다.