빅데이터의 활용
2014.09
김수보(@subokim), eBrain Academy 소장
http://subokim.wordpress.com
kimsubo@gmail.com

주요 내용
2
1st
빅데이터의
이해
2nd
분야별
동향
3rd
비즈니스
기회
1. 들어가면서
• 왜 등장했나?
• 누가 왜 하고 있나?
• 꼭 필요한가?
2. 기술 흝어보기
• 비즈니스 특징
• 가능해진 것
• 아직 어려운 것들
3. 사업적 이해
• 가능한 사업들
• 어려운 사업들
4. 금융분야
• 카드, 보험, 은행, 증권
5. 제조분야
• 생산설비, 생산공정, 가전제품
6. 건설분야
• 안전관리
7. 에너지분야
• 발전설비, 전력운용, 전력거래
8. 의료분야
• 의료보험, 치료분야, 예방분야
9. 유통분야
10. CRM과의 차이점
11. 시장접근전략

빅데이터의 이해
3

1. 들어가면서
사회적 주목 죽음의 계곡 사업이 안정화되는 시기
Gartner's 2014 Hype Cycle for Emerging Technologies Maps
4

1. 빅데이터의 이해 / 왜 등장했나?
• Server : sun sparc parallel processing etc.
• Storage : SAN or NAS
• Database : Oracle
• 높은 처리기술 비용으로 데이터 활용 어려움
5

1. 빅데이터의 이해 / 왜 등장했나?
• 2005.4.1 1주년 기념 1인당 1GB에서 용량이 점차 증가
• ‘구글은 사람들한테 더 많은 용량을 영원히 줄 것이다.’ - 조지 해릭
• 1인당 15GB * 2.7 억명 (‘12.12)
= 4.05 Exa Bytes = 4,050 Terra Bytes = 4,050,000 Giga Bytes
• 메일 검색, 분류, 태그
 Backend 인프라의 복잡성 증가
• 가입자 12억명
• 일 250 Terra Bytes 이상 데이터 처리
• 25억개의 컨텐츠 공유
• 가입자 5억명
• 일 평균 7,000만건 트윗
• 누적 143억건 이상
6

1. 빅데이터의 이해 / 왜 등장했나?
7
x86 서버 기반 클라우드 +
가상화 스토리지 +
오픈소스 병렬처리 SW
“구글 클라우드 서버”
임대형 클라우드 사업자의 등장
2008 뉴욕타임즈 디지털 변환 프로젝트
• Mission : 스캔 후 pdf 로 저장
• 분량 : 1,100만 장 (130년 어치)
• 작업예상 : 일반서버 14년 소요, 4 TB, 100만 달러
• AWS이용 : 1일, 250달러

1. 빅데이터의 이해 / 왜 등장했나?
8
고민의
시작
• 불특정 다수 + 대량 고객
• 예측이 어려운 널뛰기식 트래픽
• 광고비 중심의 인터넷 서비스 사업
• 낮은 SW 유지보수 비용
 오픈소스, 클라우드, 비싼 개발자
 DevOps, Agile
해법
• 검색어 기반 맞춤형 배너광고 서비스 (Google Adsense)
• 인터넷 서비스에 개인화 기능 강화
• 고객 분석 및 타겟 마케팅 응용
사업
가치
• B2C 기반 인터넷 비즈니스에서 출발
• 현재는 기술이 비즈니스를 리딩함
 소프트웨어 엔지니어의 역할이 큼
특징

1. 빅데이터의 이해 / 누가 왜 하고 있나?
9
미국
영국
일본
사회적 비용의 감소
 안전 분야 위험예측
 의료 서비스 품질 개선
공공 서비스 품질의 개선
 국방정보력의 강화
 유행질병 사전 대응
사회적 부가가치 인프라
 고급 정보를 싸게 제공
 기업 및 민간단체의 활용권장

1. 빅데이터의 이해 / 누가 왜 하고 있나?
• Siri – 음성 데이터 수집 후 패턴 분석
• 사용자 추천서비스 – In-App 광고
• 소비자 분석 – 결제, 개인 취향 등 예측
• 서비스 직접 품질의 개선
• 타겟 마케팅
• 사용자 분석
• 음성인식, 자연어 검색, 지도검색
• 사용자 추천서비스 – Adsense 광고
• 사용자 분석 – Google Analytics
• 서비스 직접 품질의 개선
• 타겟 마케팅
• 사용자 분석
• 오픈정책
10
자사 제품의
인프라로 활용
자사 제품의
인프라로 활용
+
오픈정책

1. 빅데이터의 이해 / 누가 왜 하고 있나?
11
정보공개+
데이터개방+
맞춤형서비스

1. 빅데이터의 이해 / 누가 왜 하고 있나?
• 무선사업부, MSC, VD사업부
• 반도체 사업부 등 글로벌 빅데이터
• Oracle, EMC, IBM 등 솔루션 PoC, ISP 수립
• 2011 ~
12
Naver
삼성전자
KT
SKT
빅데이터
• 검색질의 일 2,000만건
• 문서 일 130억건
• 검색로그 3TB/일
• 2008 ~
NCSoft
• 분석로그 일 1TB
• 분석대상 1.6 PB
• MS-SQL  Hadoop 기반
• 2010 ~ 2013 완성
• 이동통신 망품질개선
• olleh tv 사용자 분석 등
• 오픈빅데이터, 2013.5.13
• ICT 개방 1조2,000억 투자(3년간)
• 2010 ~
정부3.0
• data.go.kr, 공공정보 연계(’12년 10억 Call)
• 12.12 ~ 13.03 빅데이터 BPR/ISP 정책수립
• 13.09 미래부 빅데이터 분석 활용센터 구축
자사 서비스
개선 및 강화
(시험도입)
대외 비즈니스용
(실험단계)
행정 효율화
(활용검토)
Daum
쿠팡
GS
홈쇼핑
티몬
기타
등등
LG전자 하이
닉스
현대자동차
SKT
금융권
등등

1. 빅데이터의 이해 / 꼭 필요할까?
13
클라우드
불가분
• 클라우드 도입확산에 따른 필수 동반 기술
서버비용의 절감  클라우드 도입 
운영관리 효율화 필요  빅데이터 기반 운영 인프라 도입
• 과학적 마케팅에 대한 욕구
 마케팅 비용의 효율적 효과적 사용 욕구가 큼
• 과학적 전략 수립 욕구
 고객 연구 및 전략 수행 결과 탐구
• 기존 프로세스 개선 욕구
 제조 : 수율향상, 오류 사전탐지
 유통 : 배송 효율화
기업필수
인프라
직접 생산 설비보다
‘간접 생산 설비’ 및 ‘지원 시스템’으로의 위상 확립 중

2. 기술 흝어보기 / 비즈니스 특징
기술 시장
14
• 오픈소스 기반의 요소기술
- 각 요소 기술의 수준이 천차만별
- 숙련된 개발자 확보가 필수
• 기술 솔루션 + 빅데이터 요소기술 (경쟁시장)
- CRM, 로그분석 등 기존 솔루션의 취약점 보완
- 대표주자 : Splunk, Oracle
• 신규 시장 창출 (초기시장)
- 차별화된 분석기법 탐구, 기술이 시장을 선도

2. 기술 흝어보기 / 가능해진 것
15
전수조사
지속적 데이터
누적 활용
통계정확성
향상
Before After
• 경찰청 : 범죄자 정보, 범죄자 DNA 정보
• 노선정보: 심야버스 이용노선정보
• 인구통계: 인구이동 및 출생,사망 정보
• 이통사 : 통화이력 정보
 샘플링에 따른 누락 발생
• 경찰청 : 범죄이력 정보
• 의료정보 : 개인별 진료기록 정보,
질병환자 DNA 정보
• 국토부 : CCTV 정보
• 기상청 : 기상이력 정보
 파편화된 데이터 분석
• 지자체 : BIS 이력정보
• 내비게이션 회사 : 도로 정체 이력 정보
 부정확한 가공정보
• 일괄처리식 전수 조사 및 분석 가능
• 실시간 전수 조사 가능
오류 및 특이 데이터 감지
방대한 관계 분석이 가능
• 이력기반의 면밀한 정보 분석
시계열 기법의 정밀도 상승
예측 정확도가 높아짐
• 정보 가공의 신뢰도가 높아짐
정보 활용범위가 넓어짐

2. 기술 흝어보기 / 아직 어려운 것들
16
여행가형
• 무작위로 많은 데이터를 조사함
• 같은 데이터를 두 번 찾지 않음
• 요구사항이 무엇인지 알지 못함
• 메타 데이터를 많이 사용
• 정기적으로 데이터를 모니터링
• 정기적으로 대규모 데이터를 상세히 검토
• 산발적으로 데이터를 사용
• 프로파일링 툴에 의존
• 심화 탐구를 위한 영역을 이따금 조사
농부형
• 정기적으로 데이터 접속
• 무엇을 찾고 있는지 인지하고 있음
• 대규모 데이터에 접속
• 데이터에 예측가능한 접속
• 데이터에 접속한 후 예측 가능한 처리 시행
• 데이터 조회 시작 전에 요구사항을 인지하고 있음
• 정기적으로 데이터 마트에 접속
• 거의 현재 시점의 상세 데이터에 접속하지 않음
• 정기적으로 소규모의 황금조각을 발견
• 프레젠테이션 툴을 사용
탐험가형
• 데이터에 비정기적으로 접속
• 무엇을 찾는지 알지 못함
• 대량의 데이터를 조사
• 예측 불가능한 유형의 접근
• 때때로 큰 금덩어리를 발견
• 종종 아무것도 찾지 못함
• 정기적으로 현재 시점의 상세 데이터에 접근
• 데이터 발생보다 데이터 관계성을 검토
• 탐구와 통계적 분석 툴을 사용
광부형
• 통계학자
• 주장에 대한 가설을 바탕으로 수행
• 가설의 타당성을 입증
• 대량의 데이터로 수행
• 반복적으로 발생하는 독립 데이터로 수행
• 공생방식으로 탐험가와 긴밀히 협업
• 종종 새로운 가설과 주장을 발견
• 아주 큰 쿼리를 제출
• 업무에 특화된 툴을 사용
빅데이터 기반 분석 기법 발굴 연구 필요

2. 기술 흝어보기 / 아직 어려운 것들
17
응용 SW 부족/ 비쌈
HW 엔지니어링 연구 부족
HW 엔지니어링 연구 부족
Hadoop 기반 기술은 아직 SI 영역
물리적 서버 분산 및 관리기술은 진화중
관계형 연산처리에는 RDB가 가장 적합

3. 사업적 이해 / 가능한 사업들
대분류 가능한 사업분야 예 시 특징
18
IT 용역 솔루션 컨설팅 및 구축
용역
OO 보험사 부정청구 탐지 시스템 고도화
용역
SAS, Oracle Exa 등
B2B 비즈니스 중심
HW 엔지니어링 빅데이터 서버 트러블슈팅 관련 특수분야 전문 엔지니어 비즈니스
예상
제품개발 응용 SW 패키지 개발 운영자 편의 도구(ex. 편리한 하둡 관리자)
빅데이터 기반 전용 검색 엔진
사용자 추천 및 분석 WYSWYG 도구
상업용 패키지
초기 시장
오픈소스 기반 전략
전용 제품 개발 초고속 염기서열 분석기 (병렬처리 기술
활용)
반도체 생산공정 모니터링 시스템
바이털 사인 예측 감시 인큐베이터
산업 기술 융합 필요
블루 오션
외산 주도 예상
IT 서비스 인터넷 기반
데이터 분석 및
리포팅 서비스
월간 IT 동향 연구 리포트
지방 선거 긍정 부정 분석
데이터 분석가 필요
비정형 분석 기법 발달
현 검색엔진 회사 중심
고가의 전문 분석 시장 예상
인터넷 기반
마케팅 대행 서비스
디지털 광고, 홍보 대행 서비스
특정 제품 온라인 판매 대행 서비스
플랫폼 비즈니스
현 쇼핑몰 비즈니스
전문 대행사 등장 예상

3. 사업적 이해 / 어려운 사업들
19
시장의 어려움이자 기회
고객 데이터 분석
아웃소싱 서비스
Full Solution 제공
• 고객 데이터 = 전략데이터 + 개인정보 = 중요 보안 데이터
• 데이터를 열어서 외부인에게 보여줄 회사는 없다.
• 아웃소싱을 할 바에야 분석하지 않는다. (기회 손실이 너무 큼)
• 고객은 반제품 기반의 솔루션 구축보다 패키지 구매 방식을 선호
• 고객이 보유한 데이터 형태는 다양하다.
• 누구나 빅데이터를 가지고 있지 않다.
• 모든 고객을 만족시켜줄 수 있는 은탄환은 없다.
• Full Solution을 말할만큼 시장이 성숙하지 않았다.

분야별 동향
20

4. 금융분야 / 카드, 보험
21
현대카드
소비자 카드 이용 패턴 조사
보험사기 위험 분석

4. 금융분야 / 은행, 해외
수신 여신
외환 기타
22
국내은행분야
(도입검토 단계)
여신 업무에 활용
 대출상환 50% 이상
투자자 유치 및 관리
 투자정보 보고서
 부동산 시세 기준자료
자영업자 대출상품 개발
 유치비용 감소
 수익성 향상

5. 제조분야 / 자동차
23
생산공정
품질관리
VCRM
운행정보
수집관리
• 파일럿 프로젝트 (2013.12 ~)
- 테라데이터,오라클 등
- kt 넥스알
• 도요타
- 빅데이터 교통정보서비스(2013.6)
- 커넥티드 카 서비스 개선
• 포드
- 운전패턴, 환경 별 차량 상태정보
- 74개 센서, 400만대, 일 6TB정보
- 실리콘밸리 빅데이터 연구소(2013)

5. 제조분야 / 반도체
24
생산공정
품질관리
2014.07 SK C&C 착수
• 반도체 수율관리 공정 적용
기존 MMDB 기반
샘플링을 활용한 수율분석
하둡기반 기술
전수데이터 실시간 수율분석

6. 건설분야 / 국토부
25
• IBS 지원 시스템 (검토단계)
- 에너지 사용 효율화
- 건물 안전
• 지능형 고속도로
- 도로 센서 정보 수집
- 예측 및 사고알림
- 빠른 길 탐지 등
- 실시간으로 스마트차량과 통신

7. 에너지분야 / 발전소
• 2015년까지 ICT를 접목한 스마트 발전소 化
• 발전소 운영 및 건설정보 대상 빅데이터 구축
• 전체 비용의 80% 연료비  효율화 기대
26

7. 에너지분야 / 스마트그리드
27
• 스마트 그리드 종합운영 시스템 도입
- 선로부하 평준화, 전력손실 최소화
- 송변전, 배전, 영업 등 14종 시스템 통합
• 전력 수요 예측
- 기상청, 날씨와 전력수요 예측
- 지역별, 용도별, 시간대별 전력수요분석
- 탄력적 전력 공급계획

8. 의료분야 / 시장개요
대상 데이터 서비스 주요 기술
28
Wellness Market
Data • 개인 건강이력정보
• 개인 생활이력정보
• 가족기록 정보
Device • 개인 모바일 기기
• 가정용 기기
Illness Market
분석서비스 • Device로부터 획득한 정보,
개인정보를 바탕으로 식이영
양 및 건강운동 정보 제공
처방서비스 • 분석에 따른 영양 불균형
및 건강 불균형에 대해 처방
생체정보
모니터링기술
• 생체신호 처리기술
• 의료영상 처리기술
일상생활
모니터링 기술
• 생활센서 처리기술
• 행위정보 분류
• 생활패턴 가시화
U-Health
응용기술
• 임상결정지원기술
• 응용서비스 프로토콜
• 의료정보 보호
• 시험 및 인증
데이터
분석기술
• 빅데이터 기술
• 질병 데이터 분석 기술
• 생활건강정보 분석 기술
대상 데이터 서비스
Data • 질병정보
• DNA 정보
• 치료이력 정보
• 진료환경 정보
• 임상 실험정보
Device • 질병 진단 기기
진료서비스 • 질병 정보와 PHR을 바탕으
로 효과적이고 개인화된 질
병 진단
치료서비스 • PHR의 변화를 기반으로 한
장기적, 단기적 치료서비스
제공
예방서비스 • 데이터에 기반한 질병확률
중심의 예방 서비스 제공
임상실험 • 신약 개발 및 치료제 개발

8. 의료분야 / 보험, 병원
29
분당서울대병원
• 질병관리 및 부정탐지
- 허위 진료비 청구 탐지
- 유행질병 사전 감지
- 질환별, 지역별 약처방 패턴
• 차세대임상데이터웨어하우징
- 약물부작용 의료사고 방지
- 누적 진료기록 60 TB
- 외래 840만건, 입원40만건,
수술 25만건
- 조회시간 10분  10초로 단축

8. 의료분야 / 유전자분석 서비스
현재 유전자 분석 서비스는 다음과 같이 9 단계를 거칩니다.
병목구간은 이미지캡쳐를 하는 부분과 염기서열을 분석하는 단계입니다.
클라우드 기반 빅데이터 기술은 염기서열 분석 시간을 획기적으로 단축할 수 있게 만들었습니다.
30
• 쪼개진 DNA 조각들을 퍼즐 맞추기.
• 1인 26개 염기쌍
- 1개 염색체 약 50MB * 26개 = 총용량 1.3GB
• 기존 약 1달 소요, 비용 1천만원
 2011. 고속 병렬처리 컴퓨팅 시 2~5일 소요
 2012. 초고속 처리의 경우 5시간 내 가능
(BGI 이지게노믹스)
• 판정 비교기준 : 기 질병샘플 활용(의료진)
- 암관련 유전자 300~600개
표1. 유전자 프로필 검사 및 판정과정
검사의뢰 및
시료접수
시료채취
(모근, 구강상피
세포, 혈액 등)
DNA 추출
PCR product
전기영동
PCR 증폭 DNA 정량
결과 분석
및 편집
자동서열 분석기
를 이용한 결과
분석및 판정
판정결과 통보
및 판정서 발송
※ 출처 : 김욱 교수, 생명과학과, 단국대학교
※ 출처 : 인터넷 조사

8. 의료분야 / 자동염기서열분석기
제품명
• Model : ABI PRISM 3130xl Genetic Analyzer
• 제조사 : Applied Biosystems(Hitachi high techonology), Japan
제공기능
• Holds Loss of Heterozygosity
유전자 증폭기술을 이용하여 LOH의 표지가 되는 microsatellite의 대립 유전자
의 결손 여부를 확인
• Micorsatellite instability
대장암 환자의 경우 암조직과 정상 조직을 분리해 MSI 유전자 검사 실시
• 친자확인 12시간
• 모계혈족검사 3일
31
• Trisomy
삼염색체성 다운증후군을 유전자 증폭기술을 이용하여 손쉽게 진단
• Fragile X
유전성 정신지체의 질환으로 삼핵산 반복서열 CGG의 증폭의 반복수로 검증
• Human Identification
• Paternity test 친자 확인 가능
주요소요시간
※ 출처 : 전남대학교 의생명연구원

8. 의료분야 / 장비인프라
Location Cores Memory Storage T flops
쓰촨성 11,000 22TB 8.88PB 117T flops
홍콩 7,776 9.7TB 8.515PB 83T flops
베이찡 300 500GB 162TB 1.5T flops
우환 1760 500GB 1PB 4T flops
미국1 300 800GB 500TB 2T flops
미국2 300 800GB 500TB 2T flops
덴마크 600 1.6TB 1PB 4T flops
합계 22,036 35.9TB 20.6PB 214T flops
Illumina HiSeq 고성능 병렬처리에 기반한 기반기술
AB SOLiD System 병렬처리를 위한 소프트웨어 플랫폼
32
BGI
병렬처리를 위한 자체 클라우드
인프라 보유
AB SOLiD System
베이징게놈연구소(이하 BGI)는 Nvidia 사의 테슬라 GPU를 기반으로
한 클라우드 인프라를 활용해 기존 분석시간을 5일  5시간으로 단축
컴퓨팅
파워
주요
기술
사업
현황
플랫폼 주요내용
Ion Torrent 사후분광처리기술
• 2012년 EasyGenomics 서비스 출시
• 약 156대의 Sequencing 기계 보유
• 생물정보학자 1,000명 보유 (전세계 DNA 데이터의 10-20% 생산)
• 돼지복제센터, 줄기세포연구, 진단관련 연구 포함
(※ 출처 : MIT Technology Review, 2013)

9. 유통분야
배송경로 최적화  배송시간 단축, 물류비용 감소
33

비즈니스 기회
34

10. CRM과의 차이점
35
가설 모델
마트
구축
수집 분석 리포팅
수집 탐색 발견 가설 분석 리포팅
CRM
프로세스 및
비즈니스
빅데이터
프로세스 및
비즈니스
통계전문가 + 현업담당자 SW 영역 현업 담당자
SW 영역 데이터 탐색가
(현업담당자)
통계전문가 +
현업담당자 +
SW 엔지니어
현업 담당자
업무가 정형화되지 않았고 최적화된 SW가 아직 존재하지 않는 시장

11. 시장접근 전략
36
기억할 것
조심해야 할 것
• 기술보다 비즈니스 특성이 중요하다.
- 산업분야별로 필요한 부가 기술이 상이함
• 비즈니스의 고민을 해결하기 위한 기술을 선택
- 데이터 분석 및 탐색가의 역할이 매우 중요
- 고민 해결책을 발견하기 위한 최적의 인프라
• 기대수준, 목적에 대한 비즈니스 컨설팅 필수 동반
- 목적을 이해하지 못하면 플랫폼 도입실패 가능성 높음.
- 기대수준이 다르면 엉뚱한 결과에 도달
• 은탄환은 없다. 대량 판매가 어려운 사업이다.
- 데이터 분석을 통해 혁신이 일어나야 가치를 인정받음
- 성공가치를 입증하기 쉽지 않음

질의 응답
37