빅데이터에 기업의 미래가 달렸다

최근 IT업계 최대의 화두는 ‘빅데이터(Big Data)’다. 문자 그대로 대규모 데이터를 지칭하는 말이지만 ‘대량의 데이터를 다루는 기술’정도로 알고 있다가는 큰 코 다친다. ‘빅데이터 과학’의 놀라운 점은 당신이 무엇을 선택할지 알고 있다는 사실이다.
얼마 전 미국에서 일어난 일이다. 겨우 고등학생인 딸에게 출산용품 광고 메일이 날아들자 격분한 아버지가 마트를 찾아가 강하게 항의했다. 점장도 마케팅팀의 실수라 판단하고 사과를 했다.
그러나 쇼핑센터 데이터 분석팀 책임자는 그 여고생의 임신을 확신했다. 얼마 후 그 여고생이 임신 사실을 숨겨온 것이 밝혀졌다. 이것이 바로 지금 우리가 살고 있는 ‘빅데이터 시대’의 단면이다. 어떻게 부모도 몰랐던 여고생의 임신을 알아낼 수 있었을까?
<빅데이터의 충격(한빛미디어 刊)>은 ‘신 IT 비즈니스 전략’인 ‘빅데이터’에 대해 자세히 소개하고 있다. 저자 시로타 마코토(城田眞琴)는 일본 노무라종합연구소 혁신개발부 수석연구원답게 빅데이터를 무기로 삼는 미국, 유럽, 일본 기업의 최신 사례를 보여준다.
빅데이터 활용의 선두 주자는 기업이다. 현재 빅데이터 활용 사례의 선두 주자는 구글이다.
구글은 월간 900억 회에 이르는 인터넷 검색을 통해 데이터양이 많으면 많을수록 얻을 수 있는 정보의 품질이 좋아진다는 것을 실천하고 있는 기업이다. 아마존(Amazon)은 빅데이터 활용의 역사가 깊다. ‘이 상품을 산 사람은 이런 상품도 샀습니다’ 이것이 아마존이 처음 시작한 상품추천 시스템이다.
아마존은 고객의 상품 구매이력과 열람이력 등 방대한 행동이력의 데이터 분석을 통해서 상품추천 시스템을 성공적으로 운영한 결과 480억 달러(2011년)의 매출을 올리며 세계 최대의 온라인 쇼핑몰로 승승장구하고 있다.
빅데이터의 특징은 ‘3V’로 요약된다. 즉 데이터의 양(Volume), 형태의 다양성(Variety). 데이터 생성 속도(Velocity)를 의미한다. 데이터의 양이 어마어마하게 늘어난 것이 사실이지만 자칫하면 저장매체만 낭비하는 쓰레기가 될 수 있다.
넘쳐나는 정보, 어떻게 미래를 준비할 것인가? 형태의 다양성은 놀랍기만 하다. 빅데이터는 인터넷 외의 공간에서도 만들어진다. 그중 대표적인 것이 센서 네트워크에서 발생하는 센서 데이터다.
 즉, 자동판매기 관리시스템, 버스나 자동차 운행관리시스템, 콜센터 통화이력, GPS를 탑재한 스마트 폰에서 발생하는 위치정보 등등 각종 센서 데이터는 현재 기업에서 사용하는 관계형 데이터베이스로는 다루기 힘든 비구조화데이터들이다. 그리고 데이터 생성 속도는 장난이 아니다.
구글의 회장인 에릭 슈미트는 “인간 문명이 시작되면서부터 2003년까지 5엑사바이트의 데이터가 창출되었는데, 지금은 이틀 만에 같은 양의 데이터가 생산되며 이러한 속도는 점점 더 빨라지고 있다”고 했다.
바야흐로 패러다임의 전환의 시대가 도래했음을 깨달아야 한다. 빅데이터 시대는 쇼핑센터 데이터 분석팀이 여고생의 임신사실을 알아낼 수 있었듯이 정치, 경제, 의료, 교육, 복지 등 다양한 분야에서 삶을 혁신하고 내일을 예측하는 가히 혁명의 시대다.
빅데이터 시대에 가장 필요로 하는 사람이 데이터 과학자(Data Scientist)다. 데이터 과학자는 빅데이터의 등장으로 가장 각광받고 있는 미래의 직종이다. 

 / 삽화 이동규