데이터 홍수 속 ‘알짜정보’골라내는 법
<신호와 소음(The Signal and The Noise)>(더퀘스트, 2014년 7월 刊)은 다음과 같이  시작한다.
“이 책은 정보, 기술, 그리고 과학의 진보에 관한 책이다. 경쟁, 시장, 그리고 사상의 진화에 관한 책이기도 하다. 이 책은 우리를 컴퓨터보다 똑똑하게 만들어주는 방법과, 인간이 저지르는 실수에 관한 책이다.”
저자 네이트 실버(Nate Silver)는 2008년 미국 대통령선거에서 50개 주 중 49개 주의 결과를 정확히 예측했고, 총선에서도 상원 당선자 35명 전원을 맞힘으로써 전 세계가 주목하는 통계학의 슈퍼스타가 되었다.

그는 2012년 오바마 재선 당시에는 50개 주의 결과를 모두 정확하게 예측하는 기염을 토했다. 네이트 실버가 자신의 예측 방법론을 총 정리한 <신호와 소음>은 출간되자마자 ‘뉴욕타임스’에서 15주 연속 베스트셀러에 오르는 등 전 세계적인 반향을 일으켰다.
이 책은 산더미 같은 데이터 속에서 나 자신에게 유용한 신호를 걸러내는 방법을 알려준다. 자연과학, 사회과학, 스포츠, 게임 등에서 뽑은 사례로 채워져 있고 사례들은 좀 더 직접적이고 구체적이다.

저자는 ‘빅 데이터’ 시대에 왜 그렇게 많은 예측들이 빗나가는지 묻는다. 엄청난 정보망을 자랑하는 미국은 왜 진주만 공습과 9·11테러를 예측하지 못했을까? 왜 내로라하는 경제학자들이 2008년 경제 위기의 무수한 신호들을 무시했을까? 선거 결과는 왜 항상 언론과 전문가의 예측을 벗어날까? 낯선 속옷이 발견됐을 때, 배우자가 바람을 피우고 있을 확률은 얼마나 될까?
예측이 실패하는 이유는 데이터의 부족이 아니다. 정보가 많다고 해서 예측이 쉬워지는 것은 아니다. <신호와 소음>은 통계학을 기반으로 어떻게 잘못된 정보(소음)을 거르고 진짜 의미 있는 정보(신호)를 찾을 것인가를 가르치고 있다.

‘소음’이 아닌 진짜 ‘신호’에 귀를 열라는 것이다. 재앙에 가까운 예측 실패 사례에서는 많은 공통점을 찾아볼 수 있다.
9·11테러가 있기 60년 전에 진주만이 일본에 기습 공격을 당할 때도 그런 일이 일어나리라는 온갖 신호가 분명 있었다. 9·11테러 때도 이 사건을 암시하는 신호는 많았다.
이를테면 비행기가 무기로 사용될 가능성에 대한 경고가 최소한 10건이 있었다.

1994년에 알제리 테러리스트들은 제트비행기를 납치해 에펠탑으로 돌진하겠다고 위협했고, 또 1998년에는 알 카에다와 관련이 있는 집단이 폭발물을 실은 비행기로 세계무역센터를 들이받으려고 했다. 그런데 미국인은 그 신호들을 온전하게 하나로 꿰지 못했다.  
최근의 글로벌 금융위기를 둘러싼 예측도 온통 엉터리였다. 우리는, 우리의 여러 예측 모델을 순진하게 신봉하고 또 그 모델들이 우리가 여러 가설을 설정하고 선택하는 데서 얼마나 형편없는지를 제대로 깨달지 못 하는 바람에 재앙과도 같은 결과를 맞아야 했다.

<신호와 소음>은 이때 가장 중요하게 다뤄져야 할 개념이 ‘불확실성’이라고 말한다. 불확실성이야말로 가장 두려운 대상이다. 시험에 붙을까 떨어질까, 내 잘못을 들킬까 들키지 않을까, 내가 손해를 보게 될까 아닐까. 우리는 불확실성을 끔찍하게 싫어한다.
이 책은 우리가 깨닫는 것보다 훨씬 더 생경한, 이 세상에 대한 추정치와 가정들을 제시하면서 불확실성의 위험에서 벗어날 것을 제시하고 있다.

- 글 이채윤·삽화 이동규
 

저작권자 © 중소기업뉴스 무단전재 및 재배포 금지