기업과 공공 부문의 빅데이터 활용 사례

기업과 공공 부문의 빅데이터 활용 사례

빅데이터 활용의 선두주자는 기업입니다. 특히 검색과 전자상거래 기업들은 방대한 고객 데이터를 분석해 다양한 마케팅 활동을 하고 있습니다. 구글의 자동번역 시스템, IBM의 슈퍼컴퓨터 '왓슨', 아마존의 도서 추천 시스템은 대표적인 사례입니다. 공공부문도 위험관리시스템, 탈세 등 부정행위 방지, 공공데이터 공개정책 등 빅데이터를 활용하기 위해 다양한 노력을 기울이고 있습니다.

 

1. 기업의 활용 사례입니다.

이코노미스트(Economist)가 전 세계 600여 개 기업을 대상으로 실시한 빅데이터에 관한 조사에서 대상자의 10%는 빅데이터가 기존 비즈니스 모델을 완전히 바꾸게 되고 46%는 기업 의사결정의 중요한 요소로 작용할 것이라고 응답했습니다. 그러나 응답자의 25%는 기업 내부에 사용 가능한 데이터는 충분하지만 대부분의 데이터를 방치하고 있으며 53%는 일부만 활용하고 있다고 응답하여 부가가치 창출을 위해서는 더 많은 노력이 필요함을 시사하고 있습니다(Economist Intelligence Unit, 2011).

 

빅데이터 활용 사례의 선두주자는 구글입니다. 구글은 데이터 양이 많을수록 얻을 수 있는 정보의 품질이 좋아진다는 것을 인터넷 검색으로 실천하고 있는 기업입니다. 접근할 수 있는 모든 웹페이지를 탐색하고 제목과 내용이 검색어와 얼마나 밀접한 관계를 가지는지 측정하여 지수로 환산합니다. 이처럼 방대한 작업을 빠른 시간에 처리하기 위해 구글 분산 파일 시스템과 맵 리듀스라는 새로운 처리 기술을 개발했습니다.

 

구글은 자사가 개발한 자동번역 시스템 기술을 통계적 기계번역(statistical machine translation)이라고 표현한다(http://translate.google.com/)). 이는 컴퓨터에 문법을 가르치지 않고 사람이 이미 번역한 수억 개의 문서로 패턴을 조사해 언어 간 번역 규칙을 스스로 발견하도록 하는 방식입니다. 문법은 예외가 많은 규칙이기 때문에 참고할 문서가 많을수록 번역이 잘 될 가능성이 높아집니다. 반면 번역에 참고할 문서가 적으면 번역 품질이 떨어지기 마련입니다. 구글은 아르메니아어와 라틴어 등 참고 자료가 적은 언어의 경우 번역 품질이 높지 않은 테스트 중인 언어로 분류하고 있습니다.

 

인간의 언어에 대한 이해를 기반으로 방대한 정보를 빠르게 검색하는 기술의 힘을 입증한 슈퍼컴퓨터 '왓슨'을 만든 IBM의 창업자 토마스 왓슨(Thomas J. Watson, 1874~1956)입니다.

인간의 언어에 대한 이해를 기반으로 방대한 정보를 빠르게 검색하는 기술의 힘을 입증한 슈퍼컴퓨터 '왓슨'을 만든 IBM의 창업자 토마스 왓슨(Thomas J. Watson, 1874~1956)입니다.

ⓒ 커뮤니케이션북스입니다.

IBM 연구소가 개발한 슈퍼컴퓨터 '왓슨'도 인간의 언어에 대한 이해를 기반으로 방대한 정보를 빠르게 검색하는 기술의 힘을 입증한 사례입니다. 왓슨은 2011년 2월 미국에서 가장 인기 있는 퀴즈쇼 '제퍼디(Jeopardy!)'에 출연해 인간 챔피언과 경쟁적으로 승리했습니다. <제퍼디> 퀴즈 질문은 분야가 광범위하고 은유적인 표현이 포함돼 사람들조차 의미를 파악하기 어렵습니다. 왓슨은 4테라바이트(TB) 디스크 공간에 저장된 2억 페이지에 달하는 콘텐츠를 활용했습니다. 왓슨은 의료보험 데이터 분석과 종양 진단과 처리에 활용할 예정이며 씨티그룹(Citigroup)과 금융 분야 활용 방안을 모색하고 있습니다(IBM, 2012).

 

온라인 쇼핑몰의 선구자 아마존(Amazon)도 빅데이터 활용의 역사가 깊습니다. 아마존은 고객의 도서 구매 데이터를 분석해 특정 책을 구매한 사람이 추가로 구매할 것으로 예상되는 도서 추천 시스템을 개발했습니다. 고객이 읽을 것으로 예상되는 책을 추천하면서 할인 쿠폰을 지급합니다. 전형적인 데이터 분석에 기반한 마케팅 방법입니다. 아마존은 이러한 데이터 분석 경험을 바탕으로 현재 하드웨어를 빌려주는 클라우드(cloud) 서비스를 제공하고 있으며, 비정형 빅데이터 처리를 위한 데이터베이스를 새롭게 개발하는 등 빅데이터 관련 기업의 위상을 강화하고 있습니다.

 

일본 최대 전자상거래 업체인 라쿠텐은 슈퍼데이터베이스(DB)를 구축하고 이를 기반으로 다양한 마케팅 활동을 전개하고 있습니다. 슈퍼데이터베이스는 회원의 기본 정보와 구매내역, 서비스 예약정보가 통합되어 있습니다. 라쿠텐은 이를 활용해 그룹 내 전자상거래 사업과 신용·결제 서비스, 포털, 여행, 증권, 프로스포츠 사업 부문에서 공동 활용합니다.

 

미디어 콘텐츠 유통기업 넷플릭스(Netflix)는 이용자의 영화 대여 목록을 기반으로 새로운 영화를 추천하는 씨네매치(Cinematch) 시스템을 개발했습니다. 넷플릭스는 시네매치 시스템의 정확도를 높이기 위해 상금을 걸고 경진대회를 열기도 합니다. 넷플릭스의 빅데이터 경영은 경쟁자인 블록버스터(Blockbuster)를 파산시킨 동인으로 평가하고 있습니다.

 

하루 40억회 이상의 영상이 검색되는 유튜브도 이용자가 자신이 선호하는 동영상 채널을 구성할 수 있는 개별 홈페이지를 제공하고 있습니다. 개인별로 동영상 이용 데이터가 축적되면 이를 SNS 정보, 인적 네트워크 정보와 연계해 다양한 개인 맞춤형 서비스를 제공할 수 있습니다.

 

패스트 패션(fast fashion) 선도자인 자라(Zara)는 현재 유행하는 패션 트렌드를 즉각 반영해 단기간에 다품종 소량 생산하는 초스피드 전략을 채택하고 있습니다. 이러한 전략을 뒷받침하기 위해 상품 수요를 예측하고 점포별 적정 재고를 산출하며 상품별 가격 결정과 운송 계획까지 실시간 데이터 분석에 의존하고 있습니다. 빅데이터 활용을 위해 자라는 MIT 연구팀과 최적 재고 관리 시스템을 개발했습니다.

 

2. 공공부문 활용 사례입니다.

민간 분야뿐만 아니라 정부를 포함한 공공 부문에서도 빅데이터를 활용하기 위해 노력하고 있습니다. 맥킨지(McKinsey)는 의료, 소매, 제조, 개인위치정보 이외에 공공분야도 빅데이터 활용 사례로 소개했습니다(McKinsey, 2011). 특히 EU 공공행정 부문에서는 행정비용의 15~20%에 해당하는 최대 3000억유로의 비용절감이 가능할 것으로 전망했습니다.

 

싱가포르와 미국 정부는 보안과 리스크 관리 분야에 빅데이터를 활용하고 있습니다(국가정보화위원회, 2011). 싱가포르 정부는 재난방재와 테러감지, 전염병 확산과 같은 불확실한 미래를 대비하기 위해 2004년부터 국가위험관리체계(RAHS, Risk Assessment & Horizon Scanning)를 추진해 왔습니다. 다양한 국가적 위험 데이터를 수집하고 분석하여 사전에 예측하여 대응 방안을 모색하고 있습니다. 미 연방수사국(FBI)의 DNA 색인 시스템도 빅데이터 활용 사례입니다. 빅데이터를 활용하여 단시간에 범인을 검거하는 시스템을 운영하고 있습니다. 오바마 행정부가 추진한 필박스(Pillbox) 프로젝트는 국립보건원(NIH) 전용 사이트를 통해 의약품 정보 서비스를 제공해 제조사와 사용자 간 유기적인 정보 공유를 가능하게 했습니다. 이에 따라 후천성면역결핍증 등 관리대상 주요 질병의 분포와 증감 현황 데이터를 수집·분석할 수 있게 되었습니다.

 

미국 미시간주 정부는 관련 정부기관의 통합 데이터웨어하우스(IDW, Integrated Data Warehouse) 구축으로 시민에 대한 보다 나은 서비스를 제공하고 비용을 절감하였다(https://www.youtube.com/watch).v=ilR WnIJDnRE). 미시간주 21개 정부기관은 데이터 통합을 통해 공공의료보험(Medicaid) 부정행위 발생 감지, 개인 건강관리 개선, 최적의 입양 가정 선택 등 공공서비스 품질 개선에 활용하고 있습니다. 오하이오주와 오클라호마주 정부는 국세청(IRS) 데이터와 고용 데이터를 분석해 새로운 세원을 확보하고 미납 세금을 확인하고 있습니다(The Wall Street Journal, Mar). 12, 2010).

 

주요국 정부는 정부 데이터를 공개하는 전용 사이트를 만들어 데이터를 활용한 새로운 지식을 쌓기 위해 노력하고 있습니다. 영국(http://data.gov.uk)과 미국(http://www.data.gov), 호주(http://www.data.gov.au)는 공공부문 데이터 공개를 통해 정부의 투명성을 높이고 국민의 알 권리를 향상시키며 시간과 자원을 절감하는 효과를 목표로 하고 있습니다. 이러한 정부 데이터 공개 정책(opendata)은 빅데이터 시대의 소통과 공유, 협업(crowdsourcing) 전략이 무엇보다 중요하다는 것을 의미합니다(정영찬, 2012b).

 

국내 공공 부문의 빅데이터 활용은 시작 단계에 불과합니다. 공공부문도 민간기업의 CRM 사례를 벤치마킹해 공공부문 고객관계관리(PCRM, Public CRM)를 도입해 시행한 경험이 있습니다. 이러한 시도는 고객 만족을 최우선으로 하는 서비스 정신 확산에는 기여했지만 CRM이 추구하는 고객 데이터 분석을 기반으로 한 맞춤형 서비스 제공에는 한계가 있었다(정영찬, 2012a).

 

최근 인터넷에 흩어져 있는 다양한 웹문서, 댓글 등을 통해 특정 이슈에 대한 시민들의 의견을 분석하고 대응책을 마련하는 오피니언 마이닝(opinion mining)을 도입하는 사례가 늘고 있습니다. 국민권익위원회의 '민원동향분석시스템'과 국민연금공단의 '여론정보수집분석시스템'은 시민고객의 의견을 분석해 불신을 해소하고 소통하기 위한 시도입니다.

 

국가정보화전략위원회는 향후 공공부문 빅데이터 활용 시나리오를 재난 전조 감지, 구제역 예방, 사회복지통합관리망 구축으로 맞춤형 복지서비스 제공, 물가관리, DNA, 의료데이터 공유와 활용 촉진을 통해 개인맞춤형 의료시스템 구축의 5개 분야로 제시하였습니다(국가정보화전략위원회, 2011).