* 행사 정보 : AWS Korea 가 주최하여 2016년 7월 22일 D-Camp 에서 진행된 'AD-Tech on AWS' 1 Day Seminar
* 발표자 : Dylan Ko (고영혁) Data Scientist / Data Architect at Treasure Data
* 발표 내용
- Treasure Data (트레저데이터) 소개
- 트레저데이터 기반의 AD-Tech 활용 사례 #1 - 기본 활용 중심
- 트레저데이터 기반의 AD-Tech 활용 사례 #2 - Treasure DMP 중심
- 사례들로부터 얻어야 하는 핵심
3. • Treasure Data is the leading Analytics Infrastructure as a
Service provider enabling organizations to focus on
extracting value from their data, by abstracting the
complexity involved in data pipeline/platform management
• Offices: Mountain View, CA (HQ), Tokyo, Seoul
• Funding: $30M raised from top Silicon Valley VCs
• Lead supporter of Popular Open Source Projects:
Treasure Data Investors
Treasure Data’s
Data Collection Technology Users
Jerry Yang
Yahoo! Founder
James
Lindenbaum
Heroku Founder
Bill Tai
ex-CRV, leading angel
investor
• Very popular data collector
• Data serializer
• Enterprise data bulk loader
• Data collector from IoT/Embedded
devices
COMPANY OVERVIEW
4. 트레저데이터가 해결하고 있는 문제
“성공적인 비즈니스는 제품과 서비스를 향상시키는 분석이 필요하다! ”
“분석에 필요한 인프라를 갖추는 것이 가장 어려운 문제이며
수많은 시간, 돈, 사람의 투입이 필요하다! ”
5. 트레저데이터의 문제 해결 방법
“Plug-n-play managed analytics infrastructure in the cloud”
수집 저장 분석 실행
자체/파트너
TREASURE DATA
6. 3 관리하기 어려운 분석계
4 활용 안되는 KPIs
2 복잡한 시스템 통합
1 흩어져 있는 데이터 저장소들
Before TD
7. After TD
3
쉬운 솔루션 연계
2 관리 부담 제로
1
쉬운 데이터 수집
50+ Data Outputs
Multi-Tenant Cloud Service
300+ Data Sources
8. 다양한 분야의 글로벌 초우량 고객사
MOBILE & GAMING MEDIA & AD TECH IOT TECH & OTHERS
11. • 자체 개발한 온프레미스 DMP 솔루션은 새로운
고객마다 데이터 소스를 처리하는 커스터마이징을
하기 위해 수개월 이상이 걸림
• 데이터 엔지니어링 작업의 완료를 대기하느라
데이터 사이언스 팀의 업무 처리 속도가 저하됨
• DMP 솔루션에 대한 막대한 수요를 감당하지 못함
• 인프라스트럭쳐를 디자인하고 유지하는 것은
덴츠의 핵심 역량이 아님
Pain Points
12. • 별다른 추가 개발 없이 기존의 온프레미스 레거시
시스템에 바로 연동되는 유연한 클라우드 인프라를
통해 즉각적으로 문제가 해결됨
• 플러그인플러그 방식의 데이터 커넥터를 활용하여
새로운 데이터 소스를 설정하고 처리하는 데에
걸리던 시간을 수개월에서 몇일로 단축
• 엔지니어링 팀의 지원 없이 데이터사이언스 팀
스스로 새로운 디지털광고제품을 만들어냄
Benefits by Treasure Data
13. BEFORE Treasure Data
• 하루에 50억개가 넘는 이벤트 데이터를 수집하고
처리하는 방대한 시스템의 트러블 슈팅을 하는데에
방대한 리소스 투입
• 적절한 오디언스에게 적절한 콘텐츠를 전달하는
제어를 실시간으로 광고 퍼블리셔가 하기 위해서는
정확하고 타이밍을 놓치지 않는 레포팅 시스템
필요
• 수시로 새롭게 추가되는 광고 속성들을 처리하기
위해 계속해서 변하는 데이터 스키마를 관리하느라
작은 엔지니어링팀이 고전하고 있었음
Pain Points
14. AFTER Treasure Data
• 한 명의 엔지니어 리소스 투입으로 14일만에
트레저 데이터 기반으로 전체 시스템을 변환
• 엔지니어를 투입하지 않고 유지보수를 할 필요도
없이 일일 30억개 이상의 이벤트를 무리없이
처리할 수 있는 확장성 확보
• 비즈니스 담당자들이 회사의 모든 데이터에 접근할
수 있는 쉽고 간편한 인터페이스 확보
• 고객들이 광고 대상 제품에 대한 대시보드를
손쉽게 접근하고 제어할 수 있는 API 레이어 확보
Benefits by Treasure Data
17. 트레저데이터 기반 Private DMP 와 디지털 마케팅
• Web / Mobile Data
• Purchase History
• CRM
• Email
1st Party Data
• Panel Data
• Demographic
• Ad Servers
3rd Party Data
• Data Collection
• Data Classification
• Universal View of Customer
• Data Processing
• Data Aggregation
• Data Analysis
Targeted Ad Delivery
Audience Insights
Public DMP Syndication
Email, Social Networks
Custom Applications
The One-Stop Solution to Help Organizations:
Discover
Find new customers
and new markets
Acquire
Efficient, targeted outreach
to potential customers
Nurture
Customized re-engagement
of existing & potential customers
18. TREASURE DMP – 다양한 서비스와 연계되는 Private DMP 솔루션
3rd 파티
오디언스 데이터
1st 파티 데이터
CRM / MA / O2O
광고 효과 측정 도구
시각화
수집
모바일타겟팅
Public DMP
통계
데 이 터 마 켓 플 레 이 스
3rd 파티 데이터
SDK(JS, iOS, Android)
Private DMP
미디어 / 앙케이트
소 셜 미 디 어
디스플레이
S S P
모바일
애드네트워크
광고
SNS 타겟팅
3PAS(제3자배신)
기계학습
/자동화
분석
Web 어낼리틱스
연계
각종 미디어 사이트 인구/가구 통계, 사업자/건물/시설,
지리/기상/교통, 상품/소비동향평
가/리뷰/미디어
CRM / MA / 이메일
LPO / AB / Web 접객
DSP
19. TREASURE NETWORK
19
기 반 제 공
도 입 지 원 / 운 용
TREASURE DMP 를 활용하여 고객 기업의 디지털 마케팅을 성공으로 이끈 파트너 에코시스템
20. 최신도입사례 : 시셰이도
실행데이터통합 / 연계 데이터통합 / 시각화 / 분석 / 연계
3rd Party Cookie 데이터 (오디언스 데이터) 연계
성별 결혼 여부
연령 직업
연수입 흥미/관심사
자녀유무 취미/기호
3rd Party Public DMP
1st Party (사이트검색, 고객데이터)
Private DMP
대량의 원천데이터 축적, 데이터 통합,
세그멘테이션, 연계 실행
점포 POS 데이터
W+ 회원 데이터
OS 구매 데이터
샘플 신청 데이터 등
“와타시 플러스”, ”Beauty &
Co.”
사이트 검색 데이터
미디어 사이트 검색 데이터
2nd Party (미디어 채널 데이터)
LINE
이메일
애드네트워크
DSP
Facebook/Twitter
광고 실행
CRM 실행
마케팅 실행
앱 노티
PC/SP 사이트별 집행
데이터 시각화 데이터 분석
21. Private DMP 활용 사례
데이터 통합, 분석, 시각화
오디언스 데이터 활용
리인게이지먼트 광고 전송
이메일 전송 툴 연계
기계학습을 이용한 해지고객 예측
오프라인 행동 타겟팅
Marketing Automation / SFA 연계
광고효과 측정 툴 연계
LINE 비즈니스 커넥트 연계
인바운드 (방일 외국인) 타겟팅
22. 1) 광고 데이터 통합, 분석, 시각화
Web 사이트
실제 매장
모바일 앱
다수의 채널사이트, 앱, 점포)
에서 데이터를 통합하고 행동 분석 / 시각화
각 유저마다 최적의 타이밍, 최적의
수단으로 적합한 액션을 실행
실시 내용
유저 행동을 각 채널마다 파악
분석 한 결과를 직접 다양하게 연계하여 실행
과제
무인양품, 스카이락, 쿡 패드
리크루트, MonotaRO, U-NEXT, Retty
GREE, 반다이 남코, 드리 콤
고객 사례
매출 향상
사이트, 앱 개선
1to1마케팅 (이메일 / 반응형 웹)
추천 정확도 향상
기대 효과
데이터 소스 데이터 통합 / 분석 BI 대시보드
고객 정보
데이터 소스를 통합하고, 데이터를 분석/시각화 하고, 분석 내용을 공유
23. 23
1) 광고 데이터 통합, 분석, 시각화
• 매번 정형 보고서를 만드는 데에
단조로운 작업이 많이 필요
• 보고 싶은 보고서를 보는 데에 많은
화면 전환이 필요
• 복수의 데이터 테이블을 다운로드하고
엑셀로 재집계하는 작업이 필요
• Web UI 에서 조작하기에는 불편한
점들이 있음
• 정형 보고서를 자동화할 수 있게 됨
• 보고 싶은 레포트를 Tableau 에서
손쉽게 볼 수 있게 됨
• 빅데이터의 고속 집계 및 애드혹
분석이 가능하게 됨
• 원천 데이터를 보존하고 있기 때문에,
모든 분석 요소 축과 조건을 활용한
시각화가 가능해짐
• 매일 CSV로 만들어지는 Sizmek 전체
원천 데이터를 트레저데이터로 자동
수집 저장
• 1차로 정제한 후에 Tableau 서버에
자동으로 전송
• Tableau Server 에서 기본 레포팅을
하고, Tableau Desktop 에서 Adhoc
분석을 실행
Sizmek Raw Data
(Standard, Rich, Conversion)
Sizmek Match Type Data
(Campaign, Site, Keywords, etc)
FTP 서버 자동 수집
레포트 자동 갱신
Adhoc 분석
(커스텀 레포트, 탐색 분석)
・기본 레포트
・어트리뷰션 레포트
・키워드 레포트 등
24. 자사 보유 데이터( 1st Party ) 3rd Party DMP 오디언스 데이터
데이터 셀러형 DMP 인 Intimate Merger가
보유하는 약 4억UU의 데이터를 이용하여
유저 데모그래픽, 취미, 기호 등 데이터를 취득
실시 내용
자사 웹사이트의 행동 로그만 가지고
유저 세그먼트를 상세하게 나누는 것이 어려움
과제
신용카드 회사
전기통신 회사
리서치 회사
미디어 회사
적합 고객
CRM 데이터와 조합하여 상세세그먼트 작성
다양한 광고 전송
반응형 웹 도입
기대 효과
보유 데이터와 DMP의 오디언스 데이터를 연계시켜서 분석 및 광고 시책
Intimate Merger 세그먼트 ID
Intimate Merger 세그먼트 ID
IM ID(3rd Party Cookie ID)
TD ID(1st Party Cookie ID)
IM ID(3rd Party Cookie ID)
・IP 주소
・화면 해상도 정보
・브라우저 정보
・OS정보
성별 미혼
연령 직업
연봉 흥미 / 관심
자녀 유무 취미 / 기호
회사 내부 데이터(CRM)
・TDID
・문자 코드 · 언어
・레퍼러
・참조 페이지 정보
・회원 속성 정보 ・구매이력 등
2) 오디언스 데이터 활용
25. 2) 오디언스 데이터 활용
오프라인(TV CM)
TV Rank 가 내포하고 있는 CM 노출 데이터와
Web 억세스 로그 사이의 상관관계를 분석
실시 내용
TV CM 의 효과 측정을 하고 싶지만 적절한
데이터 처리 기법을 갖고 있지 않음
과제 대형 소비재 생산 기업들적합 고객
매스미디어와 디지털채널 사이의 횡단분석을
통한 광고 예산 최적화
기대 효과
・언제
・어떤 프로그램에서
・어떤 CM이
・몇 번
방송되었는지
온라인(Web 억세스)
PV (UU)
시간
26. 3)리인게이지먼트 광고 전송
Web 로그
iOS/Android 앱
고객DB, 과금DB 등
광고효과 측정 툴
타 겟 팅 전 송
S S P / 애 드 네 트 워 크
프라이빗 DMP
데 이 터 소 스
기타 SSP
/ ADX
TD에서 작성한 세그먼트를 바탕으로
Nex8와 연계하여 광고를 전송한다.
전송 결과도 IDFA단위로 TD상에서 축적.
그 결과를 바탕으로 재분석하고 효과를 높인다.
실시 내용
가망고객은 다 신규고객으로 만들어 놓은
상황이라 휴면 유저 발굴을 하고 싶다 (리텐션)
PDCA사이클을 자동화 하고 싶다
IDFA를 안전하게 연계시키고 싶다
과제 모바일 앱 서비스 사업 회사적합 고객
IDFA를 기반으로 한 광고 전송
휴면유저 발굴
리셋 노가다 유저에 대한 광고 전송 제외
PDCA고속 사이클에 의한 전송 최적화
기대 효과
축적하고있는 세그먼트 데이터를 NEX8와 연계하여 타겟팅 전송
27. 4) 이메일 전송 툴 연계
트레저데이터가 리스트를 작성 하고
이메일 전송 툴과 연계
이메일 개봉 로그에서 전송 리스트를
자동 업데이트
실시 내용
고객 여정의 단계와 속성에 맞게
최적화 된 메시지를 전송하고 싶다
과제 회원 서비스 제공 기업적합 고객
고객여정의 단계, 고객 속성에 맞는
최적의 이메일 전송
자동 처리에 의한 PDCA 고속화
기대 효과
고수준의 전송 리스트를 이용한 이메일 마케팅의 실현
주의 관심 검색 구매
리인게이지먼트리타겟팅
전송 리스트 생성 / 툴 연계 최적의 리스트 / 콘텐츠로 이메일 전송 개봉 로그 수집
유저 A
유저 B
유저 C
유저 D
28. 5) 머신러닝을 이용한 해지고객 예측
기계학습을 하고
지난 1달간의 데이터를 바탕으로
앞으로 1달간에 해지 할 가능성이 높은
고객 리스트를 Hivemall을 이용하여 작성
실시 내용
회원의 정기 구매가 회사 전체 매출과
이익을 좌우하는데, 해지 징후가 있는 회원을
미리 파악 및 방어하는 대책이 부족했다
과제 오이식스(Oisix)고객 사례
통계의 전문 지식 없이 머신러닝
해지 예측 리스트에 있는 회원에게
포인트를 부여함으로써 해지율 반감
해지 원인이 되는 액션, 이벤트를 찾아내고
비해지고객의 특징적인 행동도 파악 가능
기대 효과
Web
Mobile
속성 정보
행동 로그
클레임 정보
유입 경로
이용 서비스 정보
직접적 액션
간접적 액션
포인트 부여 케어콜
성공체험에로 유도UI 변경
예측에 사용하는 데이터
Hivemall 에서 머신러닝
고객 정보나 행동 로그를 바탕으로 기계학습을 하고 해지고객을 예측
29. 6) 오프라인 행동 타겟팅
지오펜싱을 이용한 오프라인 행동에서의 푸시 알림과 광고 전송
여러 곳에 설치 한 비콘을
감지 한 사람에게 전송
타이머 예약 지오펜싱 비콘 감지
지도상에서 원이나 폴리곤으로
둘러싸인 곳에 들어간 사람에게
전송
미리 설정 한 시간에 전송
위치 정보 기반으로 매장 방문 유도
행동 이력과 위치 정보를 바탕으로 한
최적의 광고 전송
실시 내용
온라인과 오프라인의 데이터를 통합적으로
관리하지 못해, 효과적인 액션을 실행할 수 없음
이메일, 배너 광고 등 기존 액션에서 한 걸음
앞선 마케팅을 실시하고 싶으나 수단이 없음
과제
스카이락
리크루트 라이프 스타일
리크루트 거주지 컴퍼니
고객 사례
점포 매출 향상
유저 인게이지먼트의 향상
광고 전송 효과 최대화에 따른 CV개선
기대 효과
대 상 I D 세 트
타 겟 팅 광 고 전 송
앱에서 행동 로그 분석 / 유저 세그먼트 작성
30. 7) MA + SFA 데이터 통합
TD에 Marketo의 행동 로그를 수집
일정한 기간의 변화량이 많은 유저를 추출하고
Hot 리드로 SFDC에 연계
실시 내용
데이터 연계를 자동화 하고 마케팅 활동의
PDCA 고속화
리드의 질과 양을 개선
기대 효과
일정 기간 동안의 스코어 변화량 등,
Marketo 와 다른 축에서 분석하고 싶다
기존 고객에 대한 업셀을 위해 매출과
이용 로그 등의 외부 데이터도 활용하고 싶다
과제 B2B기업적합 고객
광고
이벤트 / 세미나
설문조사
리스트 구입
메일 매거진
리드 제너레이션 실행
잠
재
고
객
(
익
명
)
실
제
고
객
(
실
명
)
가
망
고
객
(
정
확
도
높
음
)
SFA영역
Web 방문 (로그)
사내 시스템
/ 고객 정보
/ 이용 상황
수주
고객 정보 획득
스코어링
영업 리드 창출
Nurturing
MA영역
데이터 레이크:여러 데이터 소스를 통합 / 분석 / 연계실행 관련 정보
영업 리드
크로스셀 / 업셀
MARKETING AUTOMATION / SFA 데이터를 통합하고, 분석, 실행
31. 8)광고효과 측정 툴 연계
광고효과 측정 툴과 포스트 백 연계
Treasure Data에서
앱 실행 로그 / 과금 정보를 수집
실시 내용
유저 스테이터스에 맞게 최적화 된 광고
시책을 취하지 못하고 있다
프로모션의 PDCA를 고속화 시키고 싶다
과제
모바일 게임 제공 기업
모바일 앱 서비스 제공 기업
적합 고객
앱 프로세스 전체를 파악함으로써 타겟과
메시지를 적절하게 파악
PDCA 고속화에 의한 시책의 최적화
기대 효과
광고효과 측정 툴의 포스트 백 연계로 최적의 시책을 실현
광고 다운로드 / 설치 최초 실행 이용 과금
포스트 백 연계
기타 지원 툴
유입 경로 설치 / 삭제 IDFA / AdID 실행 로그 과금 정보
리인게이지먼트 광고리타겟팅 광고
32. 9) LINE 비즈니스 커넥트 연계
프라이빗 DMP데 이 터 소 스
LINE비즈니스 커넥트에서 취득 할 수 있는
유저 정보와 자사 보유 데이터를 연결시켜
콘텐츠나 광고를 전송
그 결과를 바탕으로 재분석하고 효과를 높인다
실시 내용
쌍방향 커뮤니케이션이나 1to1 마케팅 등
고객과의 관계를 강화 시키고 싶다
LINE을 사용한 새로운 액션을 실행하고 싶다
과제 B2C 기업적합 고객
유저의 로열티 상승
정확도가 높은 광고 전송
기대 효과
고객 정보와 연결시켜 유저마다 다른 콘텐츠를 LINE으로 전송
Web 사이트 (Cookie)
모바일 앱 (IDFA/ADID)
메시지 서비스
관리 솔루션
세그먼트 별 메시지 전송
설문조사
문의 자동 응답
오운드 미디어 연계 / 유도
• mid
• 액션 데이터
• 설문조사 데이터 etc
(API경유로 취득)
LINE에서의 액션
Mid와 고객ID를 연결
세그먼트 별 동영상 전송
고객 DB (MID/Email&PW)
33. 10) 인바운드 (방일 외국인) 타겟팅
01
정보 수집
앱 다운로드
Geofence
GPS
Push/Ad
Wifi/Beacon
전환 측정
고객 방문 점원 통지
사이니지 언어 최적 전환
GPS로 유저 이동 분석
URL-path
02
03
04
일본 입국
감지
감지
지오펜스
내점
감지
감지
국적에 맞는 접대를 할 수 있다
사이니지, 취업시간 조정,
재고관리, 빈자리 정보
35. 데이터를 바라보는 관점의 변화가 필요
• 분석이나 통찰을 위한 분석이 아닌, 즉각적인 실행을 위한 분석과
그러한 분석을 위한 데이터 구조 및 데이터 처리 인프라가 핵심
• 데이터 처리 인프라에 크게 투자하는 것이 아니라 데이터로 가치
있는 실행을 하는 데에 최대한 집중
• 데이터는 시간과 같음. 잡아놓지 않으면 사라져버림. 한편, 주어진
시간을 행동으로 활용하지 않으면 의미 없는 것처럼 데이터도
마찬가지로 관리하면서 활용하지 않으면 의미 없음
• Data Analysis Data Action
36. 연결로부터의 혁신, 그리고 데이터
• Connecting the Dots. Dots ? Data !
• 데이터 사이언스를 통해 새로운 밸류를 찾아내는 것은 순혈
데이터셋의 개별적 탐색보다는 이종/다채널 데이터셋을 모아 놓고
연결하여 탐색하는 것이 확률이 높음
• 다양한 채널 접점으로부터 이종 데이터의 확보. 수집해서 연결해
놓고 제대로 탐색하기만 하면 됨
• Linked Data based Innovation
• Another important meaning of Omni Channel
37. 데이터 엔지니어를 위한 넥스트 커리어
• 데이터 엔지니어의 일은 ETL?
• 데이터 사이언스의 정수는 Data Product 만들기
• Data Product : Automated Valued Creation by Data Workflow
Management
• 데이터 프로덕트는 데이터 사이언티스트만으로 해결되는 문제가
아님. 데이터 엔지니어의 역량이 강하게 필요
• Do not ETL, Do Make Data Product