데이터가 사람을 읽기 시작한 순간 — 누가 세어졌고 누가 사라졌는가

종이 없이 제국의 수량을 묶다 — 잉카 키푸

잉카 행정가 키푸카마욕은 끈의 자리·매듭·색으로 가구, 창고 물자, 노동과 공물을 기록하고 도로망을 따라 보고했다. 같은 계정을 여러 기록자가 보관한 정황은 확인과 통제의 층도 보여 준다. 쿠스코는 제국 행정의 중심을 나타내는 편집 핀이지 현존 키푸 하나의 제작지는 아니며, 수량 기록을 넘어선 모든 의미가 해독됐다고 말할 수 없다.

죽음의 주보에서 도시의 규칙성을 읽다 — 존 그라운트

상업 수요 · 렌즈가 주목한 장면

런던 교구가 전염병 감시를 위해 내던 주간 사망표를 그라운트는 여러 해에 걸쳐 다시 묶었다. 사망 원인과 계절, 남녀 수와 도시 규모를 비교하면서 개인의 죽음에서는 보이지 않던 인구 수준의 규칙을 찾았다. 자료의 원인 분류는 검시관이 아닌 검색인들의 판단에 의존했고 빠진 사람도 많았으므로, 표의 규칙성이 곧 완전한 등록이나 인과 법칙은 아니다.

교구 표를 국가의 연속 기록으로 잇다 — Tabellverket

스웨덴의 Tabellverket는 각 교구가 보낸 인구·출생·사망 표를 정기적으로 합쳐 국가가 해마다 자신을 비교하도록 만들었다. 한 번의 총계가 아니라 같은 형식의 반복이 변화율과 지역 차이를 보게 한 전환이다. 국가 통계는 보건과 행정에 쓰였지만 교회·국가가 정한 범주와 누락 위에 서 있었으며, 오늘날 의미의 중립적 데이터베이스와 같지 않다.

먹일 사람을 알기 위해 나라를 세다 — 영국 최초 공식 인구조사

전쟁과 흉작, 맬서스의 인구 논쟁 속에서 의회는 1800년 법을 통과시키고 1801년 잉글랜드·웨일스와 스코틀랜드의 공식 인구조사를 실시했다. 가구 수와 사람 수, 직업의 큰 범주가 국가 계획의 숫자가 됐다. 개별 가구원이 직접 작성한 현대적 조사표는 1841년에야 자리 잡았고 군인·선원 등 제외도 있어, 1801을 완성된 현대 센서스로 부르지 않는다.

평균을 요약값에서 인간의 형상으로 바꾸다 — 케틀레의 평균인

천문 측정의 오차 곡선을 배운 케틀레는 키·범죄·결혼 같은 사회 자료의 평균과 규칙성을 ‘사회물리학’으로 읽고 1835년 ‘평균인’을 중심 개념으로 세웠다. 집단을 비교하는 강력한 요약이 탄생했지만, 여러 특성의 평균을 한 실제 사람이나 바람직한 정상형처럼 실재화하면 개인 차이와 제도적 원인을 지운다. 평균은 질문에 답하는 도구이지 인간의 표준 원본이 아니다.

사망 주소를 지도에 겹쳐 물을 의심하다 — 존 스노의 콜레라 조사

스노는 소호의 콜레라 사망 주소와 식수 이용을 조사해 브로드 스트리트 펌프 주변의 집중, 멀리서 그 물을 마신 사례, 자체 우물을 쓴 작업장의 예외를 함께 비교했다. 지도는 주장을 눈에 보이게 했지만 증거의 전부는 아니었다. 펌프 손잡이가 제거될 때 유행은 이미 약해지고 있었고, 지도만으로 세균 이론이나 단일 원인을 최종 증명했다고 과장하지 않는다.

부모와 자녀의 점구름에서 되돌아감을 보다 — 갤턴의 회귀

갤턴은 가족의 키 자료를 산점도와 타원형 무리로 보고, 극단적인 부모의 자녀 평균이 전체 평균 쪽에 더 가까운 경향을 ‘평균으로의 회귀’라 불렀다. 두 변수가 함께 움직이는 정도를 형태로 읽는 길이 열렸다. 그러나 상관은 원인을 확정하지 않으며, 갤턴은 이 도구를 유전적 서열과 우생학이라는 차별적 정치 기획에 결합했다. 유용한 수학과 해로운 목적을 떼어 미화하지 않는다.

사람의 답을 기계가 읽는 구멍으로 바꾸다 — 홀러리스

미국 인구조사는 각 사람의 나이·성별·인종·혼인·시민권 같은 응답을 천공카드 위치로 옮기고 전기식 판독·집계 장치로 합산했다. 처리 속도가 크게 오르며 범주 조합을 다시 셀 수 있게 됐고 데이터 처리가 기계 산업으로 이어졌다. 기계는 조사표보다 중립적이지 않다. 어떤 질문과 인종 범주를 카드 칸으로 만들지는 이미 정치적으로 정해져 있었다.

관측된 칸과 기대된 칸의 어긋남을 재다 — 피어슨의 카이제곱

칼 피어슨은 범주별 관측 도수와 모형이 기대하는 도수의 차이를 하나의 통계량으로 합쳐 적합도를 판단하는 일반 방법을 발표했다. ‘눈대중으로 비슷하다’에서 표본 변동과 비교하는 절차로 이동한 중요한 장면이다. 이것이 모든 가설검정이나 오늘의 p값 관행을 혼자 시작한 것은 아니며, 피어슨의 생물측정 연구와 통계 제도는 우생학 프로그램과 깊이 얽혀 있었다.

맥주 한 잔의 품질에서 작은 표본의 불확실성을 배우다 — ‘Student’

상업 수요 · 렌즈가 주목한 장면

Guinness의 윌리엄 고셋은 보리·맥아처럼 적은 수만 시험할 수 있는 공정에서 모분산을 모를 때 평균의 불확실성이 더 커진다는 문제를 다뤘다. 1908년 ‘Student’라는 필명으로 발표한 분포는 표본 수에 따라 두꺼운 꼬리가 달라진다. t 방법도 독립성·정규성 등 선택한 모형의 조건을 가지며, 작은 표본을 자동으로 대표성 있는 표본으로 바꾸지는 않는다.

좋아 보이는 밭 대신 우연이 자리를 고르게 하다 — 로담스테드 실험

피셔와 로담스테드 연구진은 비료·품종 효과를 토양의 들쭉날쭉함과 구분하기 위해 반복, 블록, 의도적 무작위 배치를 결합했다. 연구자가 유리해 보이는 구획을 고르는 대신 우연한 배정이 비교의 기준을 만들었다. 1926년 논문은 핵심 원리를 정리한 이정표이지 무작위 실험의 절대적 최초가 아니며, 피셔가 적극적 우생학자였다는 사실도 함께 남긴다.

수백만 응답이 더 작은 조사에 지다 — 《Literary Digest》와 갤럽

상업 수요 · 렌즈가 주목한 장면

《Literary Digest》는 약 천만 장의 투표용지를 보내 230만 개가 넘는 회신을 모았지만 랜던의 승리를 잘못 예측했다. 표집틀과 회신 여부가 모두 편향된 거대한 표본이었다. 프린스턴을 기반으로 한 갤럽의 훨씬 작은 할당표본은 루스벨트의 승리를 맞혔다. 그러나 이는 완전한 확률표본의 승리로 단순화할 수 없고, 갤럽 방식도 1948년에 큰 실패를 겪었다.

치료 기대와 비교를 분리하다 — MRC 스트렙토마이신 시험

영국 MRC 결핵 시험은 제한된 스트렙토마이신을 환자에게 배정할 때 무작위 수에 기초한 중앙 할당을 사용하고, 치료군과 침상안정 대조군의 경과를 비교했다. 엑스레이 판독자는 배정 정보를 모른 채 평가했다. 현대 임상시험의 중요한 전환이지만 최초의 통제시험이나 모든 면에서 이중맹검인 시험은 아니며, 통계적 차이가 곧 모든 환자에게 같은 이익을 보장하지 않는다.

나라 전체를 다 세지 않고도 지역 차이를 보려 하다 — 인도 국가표본조사

상업 수요 · 렌즈가 주목한 장면

마할라노비스와 인도통계연구소의 연구망은 1950년 National Sample Survey를 시작해 농촌·도시의 소비, 고용, 토지와 생산을 반복 조사했다. 층화·다단계 표본과 현장 조직은 넓고 다양한 신생국에서 빠른 계획 자료를 만들었다. 표본조사는 값싼 축소 인구조사가 아니라 불확실성을 포함한 별도 설계이며, 국가 평균이 모든 지역과 집단의 경험을 대신하지 않는다.

전체 비율과 학과별 비율이 반대로 말하다 — 입학 자료와 심프슨 역설

UC Berkeley 대학원 입학 자료에서는 전체를 합치면 여성 지원자의 합격률이 낮아 보였지만, 학과별로 나누면 대부분의 차이가 줄거나 방향이 달랐다. 지원자가 난도가 다른 학과에 불균등하게 몰린 구조가 집계값을 뒤집을 수 있었다. 이 분석은 ‘차별이 없었다’는 자동 판결이 아니다. 어떤 변수를 나눌지는 인과 질문에 달려 있고 학과 선택 이전의 제약도 따로 물어야 한다.

평균 정확도 아래 숨은 얼굴을 다시 세다 — Gender Shades

조이 불람위니와 팀닛 게브루는 상업용 성별 분류기의 성능을 피부색과 성별 표현의 교차집단별로 나눠 평가했다. 전체 정확도 하나로는 보이지 않던 큰 오차 격차와, 벤치마크 자체의 밝은 피부·남성 편중이 드러났다. 연구는 특정 시점의 네 분류기와 구성된 데이터셋을 감사한 것이며 모든 얼굴인식 알고리즘이나 성 정체성을 이진 범주로 정의하는 일반 이론은 아니다.

공개할수록 드러나는 사람을 수학적으로 가리다 — 차등프라이버시 인구표

미국 인구조사국은 2020 Census의 일부 공개 데이터에 차등프라이버시 기반 공개회피 체계를 적용해, 표를 결합해 개인을 재식별할 위험을 제한하려 했다. 작은 무작위 잡음을 더하면 프라이버시 예산을 명시할 수 있지만 특히 작은 지역·집단 통계의 정확도와 긴장이 생긴다. 차등프라이버시는 익명성을 마법처럼 보장하는 한 알고리즘이 아니라 위험과 효용을 함께 설계하는 틀이다.