Big Data, Big Impact

김화종

강원대학교

1

2012. 12. 7

목 차

빅 데이터란 무엇인가?

빅 데이터 왜 중요한가?

빅 데이터 어떻게 접근해야 하나?

2

데이터로부터 insight를 얻고 새로운 서비스를

제공하는 것

예전에는 불가능했던 많은 놀라운 일들이 가능하게 되었다

Big Data

3

Examples

광고, 마케팅건강, 의료, DNA 분석보험, 금융재난관리, 범죄예방

거의 모든 서비스의 혁신

4

빅 데이터의 특징

컴퓨터나 장치에 의해 자동으로 데이터 발생예전에는 측정하지 않았던 데이터들을 활용상세한 웹 이용 패턴, 교통정보, RFID, CCTV

반정형 (semi structured) 데이터로부터 점차 많은 정형(structured) 데이터가 만들어진다다루어야 할 데이터의 폭증표준화 필요

5

빅 데이터가 왜 중요한가

새로운 서비스와 비즈니스 창출정치, 경제, 사회, 문화, 국방, 도시, 방송통신, 교육, 에너지, 건강, 오락

빅 데이터 활용이 경쟁력의 차이로 나타날 것국가, 기업, 개인의 활동에서

데이터 경제 시대 도래

6

데이터 경제 시대

향후 모든 사업과 산업에서 분석해야 할 빅 데이터가 급증할 것비용절감, 리스크 관리, 변화 예측, 의사결정데이터가 많아질수록 적절한 데이터를 찾아내는 일이 더 어려워진다빅 데이터 분석의 70~80%의 시간은 데이터를 준비하는데 소요

개인정보의 보호와 활용 이슈개인정보는 가치를 지닌 자원 (미국식 접근)

7

주요 이슈

빅 데이터의 증가Big Traffic, Big Processing, Big Analytics

프라이버시 (개인정보) 문제우리는 이미 너무 많이 노출되어 있다빅 데이터 혁신의 관건

어떻게 대처할 것인가?

8

Data - 21세기의 원유

“돌이 다 떨어져서 석기기대가 끝난 것이 아니다. 원유가 많이 남아 있어도 석유시대가 끝날 수 있다”

- Yamani 사우디아라비아 석유상

21세기의 원유인 데이터가 아무리 많아도 빅 데이터 경쟁에서 뒤쳐질 수 있다

9

Big Impact

프라이버시 임팩트 (Privacy Impact)

데이터 임팩트 (Data Impact) 

10

Privacy Impact

2012. 2. 16 Target에서 고객의 임신 사실을 알려줬다이용자 정보를 공개할 권한이 누구에게 있는가?

개인정보를 기업이 소유하고, 전달하고, 사용할 권리가 있는가?

개인의 속성, 행동, 취향, 관계, 위치 정보가 노출되기 시작했다당신이 만든 모든 문서, 그리고 남들이 당신에게 보낸 모든 문서는 남는다 (lifestream)

11

Privacy Impact

개인정보를 활용하여 서비스가 개선되고 있다?

병원 방문 이력을 조사하여 보험료를 올린다면? 

유전자 정보를 분석하여 취업시에 반영한다면?

빅 데이터의 혁신과 프라이버시 침해의 균형이 필요이는 경쟁 관계가 아니라 동반 관계임안전한 고속도로라야 차가 빨리 달릴 수 있다

12

Data Impact

빅 데이터가 부담이 되고 있다경쟁사는 더 앞서 나가고 있다?

데이터 공유를 통한 서비스 융합을 어떻게 접근하나

13

접근 전략

두가지 임팩트에 효과적으로 대응해야

프라이버시 임팩트  ➔ 프라이버시 경제 시대데이터 임팩트  ➔ 데이터 공유 시대

14

프라이버시 문제

개인정보가 자동으로 수집, 분석, 결합, 사용, 공유되는 시대우리는 스스로 우리의 정보를 적극적으로 내놓고 있다우리는 스스로 마케팅되고 있다

친구의 온라인 활동을 통해서도 나의 프라이버시 정보가 공개 된다

글 올리기, 사진올리기

데이터 브로커를 통해 다른 데이터와 조합된다

15

지금은 네가 “개”인 것뿐 아니라, 혈통, 좋아하는 음식도 안다 

16

프라이버시 문제사람들은 평소에 프라이버시 문제에 큰 관심이 없다프라이버시에 대한 인식은 상황에 따라 달라진다청소년들은 프라이버시에 대해 덜 민감하여 스스로 공개하며 나중에 취업에도 영향을 받는다

개인식별 정보 뿐 아니라 개인의 모든 활동 결과가 “개인정보”가 된다데이터가 모이면 개인 식별 확률이 높아진다한번 디지털화된 데이터를 지우기가 매우 어렵다일단 데이터가 쌓이면 이를 악용하려는 사람이 있게 된다

17

비디오 프라이버시 보호법1987년 Robert Bork 대법관 임용시

개인의 비디오 대여 기록 유출이 문제가 됨1988년에 법 제정

2011년 9월 넷플릭스개인들의 비디오를 본 내용을 페이스북을 통해서 친구들에게 공개할 수 있도록 법안 수정을 유도

18

프라이버시 경제

프라이버시 정보는 중요한, 가장 민감한 자산이를 안전하게 관리하는 것이 새로운 비즈니스가 될 것소비자는 더 나은 서비스를 선택 World Economic Forum에서는 개인정보를 새로운 경제적인 자산으로 정의

정보서비스에는 국경이 없다글로벌 정보 서비스 확대에 대한 대책

19

프라이버시 경제

온라인상에서 개인의 정체성은 다양하다프라이버시도 다양한 모습을 띄게 된다

떠날 수 있는 권리 (Freedom to leave)

사용자는 자신의 개인정보를 사용하는 서비스 제공자를 자유롭게 바꿀 수 있어야 한다개인정보를 누가 어떤 목적으로, 어떻게 수집하고, 어떻게 이용하는지, 안전한지를 투명하게 알려주어야 한다

20

대응 방안

빅 데이터 혁신과 프라이버시 리스크의 균형Big Data Innovation vs. Privacy Risk

21

데이터 공유

빅 데이터는 서로 다른 데이터와 결합해야 새로운 가치를 얻는다과거의 정보화 현재의 데이터를 결합엔터프라이즈 내부 및 외부의 데이터와 결합

비즈니스간 융합은 데이터를 매개로 이루어진다

22

실시간 데이터 공유

실시간 분석 요구 증가고객이 웹을 보는 도중에 마케팅을 해야콜센터에 전화를 하는 도중에매장에 방문하고 있는 중에

위험 상황의 실시간 파악과 대응날씨를 고려한 항공운영 지연 예측

데이터 공유가 자동화되고 streamlined 되어야

23

정부 공개 데이터

정부기관의 공개 데이터 (open data)

data.gov

data.or.uk

data.go.kr

data.seoul.go.kr

공공 데이터의 이용에는 제한이 많음API 사용제한, 지적재산권 제한, 복잡한 이용 절차

24

Factual.com

Factual.com세계 5천 8백만개의 지역 기업 (호텔, 식당 등), 박물관, 공항, 해변, 공원, 랜드마크 정보 제공65만개 가공식품, 패키지 상품의 데이터Walgreen에서 판매하는 4천여 품목 정보Safeway에서 판매하는 2천여개 품목 정보

7M$ 투자 유치

25

26

데이터 공유 전략공유의 장점중복적인 노력을 줄이고, 투명성을 높이고, 속도를 높이고, 스케일을 키울 수 있다많은 데이터 사본이 증가하는 것을 방지Data Quality, inconsistency 대응

데이터 공유의 표준화 필요데이터는 대부분 분석을 목적으로 수집되어 있지 않다공유를 위해서는 데이터의 가공이 필요하다공유 통계를 관리하기 위한 표준이 필요

27

데이터 공유 전략

기관, 기업 내부의 정보 공유기관, 기업 간의 정보 공유창의적 개인 활동 참여

정부의 역할은?

28

데이터 공유 전략

해결해야 할 문제

정보 공유에 대한 인식 변화프라이버시 공동 대응공유 전략 수립공유 프로세스 수립표준화 범위법제화 범위

29

Public Data Infrastructure

30

ODI

Public Data

ODI : Open Data Interface

Government LargeEnterprise

SmallEnterprisePersonal

Big Data

Mined data

Summary

gathering

analytics

reporting

ODI

Public Data

Government

Enterprise

Personal

ProgrammerUser

ODI : Open Data Interface

31

gathering analytics reporting

ODI

PDS : Public Data Space

Data Core

ODI : Open Data Interface

Government LargeEnterprise

SmallEnterprisePersonal

PDS

: Contributed Local Data: Private Data

32

Public Data Infrastructure

Level of Publicity

공개 데이터 (Open Data) 범위공공 정보, 통계 데이터 등

선택적 공개 데이터나이, 거주지역 등 본인의 선택

비공개 데이터 (Privacy Data)

주민등록번호, 이름 등 기본적으로 보호할 정보

33

Level of Publicity of Data

High(Public)

Low(Private)

L1

L2

Domain of DataCommerce Portal

Open Data

SelectiveOpenData

PrivacyData

공개 데이터 - 통계정보, 공공정보

선택적 공개 데이터- 나이, 거주지역

비공개 데이터 - 주민등록번호, 이름

High(Public)

Low(Private)

Domain of Data

Commerce Portal Medical CommunicationEconomy

Level of Publicity of Data

데이터 공유 전략여러 기관이 공유할 표준화된 “분석 데이터 셋” 정의논리적으로는 하나의 테이블로 구성각 필드의 업데이트 주기가 다르다 (time scale)

consistency 를 위한 표준화 필요분석에 더 많이 집중할 수 있게 해준다

시간이 지나면서 진화하는 모델새로운 메트릭 추가

“build once, use many”

36

데이터 공유 전략

cross-functional, cross-domain 협력비즈니스 팀 - 비즈니스 분석에 필요한 메트릭을 정의분석 팀 - 원하는 메트릭을 얻는 로직을 생성IT 팀 - 데이터와 프로세스를 구축하고 관리기관, 기업간의 협력

“compute once, use many”

37

결 론

데이터를 보는 관점이 달라져야예전의 해석 방식과 달라졌다

개인정보의 보호와 활용미래 빅 데이터 서비스의 승부처

데이터 공유에 적극 대응인식, 전략, 프로세스가 달라져야 한다기관, 기업간의 성공적인 협력모델 발굴

38