정보 엔트로피
메시지의 뜻을 읽지 않고도 불확실성을 잴 수 있을까?

잡음 속에서도 정보가 건널 수 있는 한계를 재다
얼굴은 전해지는 섀넌의 사진을 참고했지만, 이 벨 연구소 장면은 1937년 릴레이 논문·1948년 정보이론·1949년 암호 연구를 한 실험으로 합친 기록이 아닙니다. 채널 용량은 조건 아래 오류 확률을 임의로 작게 만들 수 있다는 한계이지 마법 같은 무오류 전송이 아니며, bit라는 용어는 존 투키의 제안임을 구분합니다. 외발자전거와 공은 기록된 놀이 성향을 환기할 뿐 특정 연구 사건이 아닙니다.
MathVoyage editorial direction · OpenAI image generation · historical photograph reference · 2026-08-07
연도보다 생각을 먼저 기억한다면
Claude Shannon
먼저 기억할 생각
정보는 측정할 수 있다.한 장면으로 들어가기
MIT 석사논문에서 스위칭 회로를 논리식으로 나타내고 단순화하는 방법을 제시했다. 여러 사람이 발전시킨 릴레이·논리 연구를 강력한 설계 절차로 연결했다.
이 사람이 열어 주는 질문
아래 연결은 직접 영향이나 단독 발명 계보가 아니라, 기존 개념 항로에서 이 인물이 맡는 편집 역할을 반대로 보여 줍니다.
메시지의 뜻을 읽지 않고도 불확실성을 잴 수 있을까?
‘암호와 정보’에서 묻습니다. 한 번의 우연에서 반복되는 신호를 어떻게 읽을까?
PROFILE 02 · DEEP VOYAGE
연도를 더 외우는 대신, 한 사람을 만든 시대와 방향을 바꾼 장면, 다음 세대로 건너간 질문을 차례로 따라갑니다.
CHAPTER 01 · 사람과 시대
완성된 업적보다 먼저, 이 사람이 무엇을 문제로 보았고 어디까지 확실하게 말할 수 있는지 읽습니다.
메시지의 뜻을 잠시 내려놓고 “얼마나 놀라운가”를 수량화한 수학자·공학자. 섀넌의 1937년 MIT 석사논문은 부울 대수를 릴레이 스위칭 회로의 분석과 단순화에 적용했다. 1948년 논문은 정보량을 확률로 정의하고, 잡음이 있는 채널에서 신뢰성 있게 통신할 수 있는 속도의 한계를 정리했다. “한계 아래면 언제나 오류가 0”이라는 뜻이 아니라, 긴 부호와 적절한 조건 아래 오류확률을 임의로 작게 할 수 있다는 존재 정리다. “bit”라는 말은 존 튜키가 제안했지만 섀넌의 논문이 정보 단위로 널리 정착시키는 데 큰 역할을 했다. 외발자전거·저글링·체스 기계 같은 놀이도 그에게는 조합과 예측을 시험하는 연구 방식이었다.
CHAPTER 02 · 전환의 장면
생각이 한 단계 이동한 순간을 시간순으로 펼칩니다. 모든 장면은 확인된 장소 또는 정직하게 표시한 시대 맥락에서 다음 항해로 이어집니다.
장면 1 / 3
MIT 석사논문에서 스위칭 회로를 논리식으로 나타내고 단순화하는 방법을 제시했다. 여러 사람이 발전시킨 릴레이·논리 연구를 강력한 설계 절차로 연결했다.
장면 2 / 3
정보량·엔트로피·채널 용량을 하나의 모델로 묶었다. 용량보다 낮은 전송률에서 긴 부호를 쓰면 오류확률을 임의로 작게 할 수 있음을 보였지만, 유한한 통신의 무오류를 보장하는 말은 아니다.
장면 3 / 3
암호문이 평문에 대한 정보를 주지 않는 조건을 수학적으로 정의했다. 일회용 패드는 평문 이상 길이의 균등한 무작위 키를 비밀로 공유하고 단 한 번 사용할 때 이 조건을 만족한다.
THOUGHT EXPERIMENT · 사실이 아닌 가정
아래 내용은 확인된 역사적 사실이 아니라, 이 인물의 영향을 생각해 보는 가정입니다.
초보자는 동전 던지기의 놀라움을 비트로 비교하고, 중급에서는 압축과 엔트로피를 연결한다. 고급에서는 채널 용량과 오류정정부호의 가정을 확인하며, 전문 단계에서는 의미론과 무관한 통신 모델의 힘과 한계를 비판적으로 읽는다.
STANDING ON SHOULDERS · 근거가 있는 연결
같은 시대였다는 이유로 선을 긋지 않습니다. 저작·문제·가르침으로 확인되는 연결만 문장과 근거로 보여 줍니다.
큐레이터가 고른 원전과 탐구 과제. OEIS·Project Euler·MathOverflow·arXiv에서는 발견 하나를 수첩으로 가져올 수 있습니다.