MelOn 빅데이터 플랫폼과 Tajo 이야기

•

15 gostaram•3,202 visualizações

Gruter

2016년 4월 Tajo meetup 발표 자료 (로엔엔터테인먼트 윤병화 PL)

Dados e análise

MelOn 빅데이터 플랫폼과 Tajo 이야기
2016.04 플랫폼개발팀 윤병화PL

로엔 엔터테인먼트 소개
• 국내 최대 음악 플랫폼 멜론
• 국내 최대 음악 유통
• 음악 콘텐츠 투자/제작, 아티스트 매니지먼트

Music Life Connected Platform으로 진화
• 이해 관계자의 Value가 지속 교환될 수 있는 플랫폼
• 사용자 컨텐츠 소비 분석. 2004년 ~ 현재

데이터 양
• 일 평균 1억건 이상 컨텐츠 소비 건수
• 일 2TB 이상 데이터 증가 (최소 정보 저장)
• 일 500TB 이상 서비스 데이터 생성

빅데이터 플랫폼 개선
• 기민한 데이터 서비스를 위한 플랫폼 개선
• 실시간 수집 강화
• Tajo(SQL on Hadoop) 전환을 통한 분석 시간 단축

Recomendados

[NDC 2018] Spark, Flintrock, Airflow 로 구현하는 탄력적이고 유연한 데이터 분산처리 자동화 인프라 구축Juhong Park

OLAP for Big Data (Druid vs Apache Kylin vs Apache Lens)SANG WON PARK

Spark + S3 + R3를 이용한 데이터 분석 시스템 만들기AWSKRUG - AWS한국사용자모임

Amazon OpenSearch Deep dive - 내부구조, 성능최적화 그리고 스케일링Amazon Web Services Korea

[NDC18] 야생의 땅 듀랑고의 데이터 엔지니어링 이야기: 로그 시스템 구축 경험 공유Hyojun Jeon

스타트업 사례로 본 로그 데이터 분석 : Tajo on AWSMatthew (정재화)

클라우드 비용, 어떻게 줄일 수 있을까? - 구본민, AWS 클라우드 파이넌셜 매니저 :: AWS Builders 100Amazon Web Services Korea

실시간 이상탐지를 위한 머신러닝 모델에 Druid _ Imply 활용하기Kee Hoon Lee

Aurora MySQL Backtrack을 이용한 빠른 복구 방법 - 진교선 :: AWS Database Modernization Day 온라인Amazon Web Services Korea

Data pipeline and data lakeDaeMyung Kang

서비스 모니터링 구현 사례 공유 - Realtime log monitoring platform-PMon을 ...Jemin Huh

Aws glue를 통한 손쉬운 데이터 전처리 작업하기Amazon Web Services Korea

온라인 주문 서비스를 서버리스 아키텍쳐로 구축하기 - 김태우(Classmethod) :: AWS Community Day Online 2020AWSKRUG - AWS한국사용자모임

[NDC18] 야생의 땅 듀랑고의 데이터 엔지니어링 이야기: 로그 시스템 구축 경험 공유 (2부)Hyojun Jeon

CloudWatch 성능 모니터링과 신속한 대응을 위한 노하우 - 박선용 솔루션즈 아키텍트:: AWS Cloud Track 3 GamingAmazon Web Services Korea

Amazon Redshift로 데이터웨어하우스(DW) 구축하기Amazon Web Services Korea

AWS 고객이 주로 겪는 운영 이슈에 대한 해법-AWS Summit Seoul 2017Amazon Web Services Korea

대용량 로그분석 Bigquery로 간단히 사용하기 (20170215 T아카데미)Jaikwang Lee

[236] 카카오의데이터파이프라인 윤도영NAVER D2

AWS 클라우드 이해하기-사례 중심 (정민정) - AWS 웨비나 시리즈Amazon Web Services Korea

로그 기깔나게 잘 디자인하는 법Jeongsang Baek

스토리포인트가이드YoungKi Hong

[AWS Builders] 프리티어 서비스부터 계정 보안까지Amazon Web Services Korea

대용량 데이터레이크 마이그레이션 사례 공유 [카카오게임즈 - 레벨 200] - 조은희, 팀장, 카카오게임즈 ::: Games on AWS ...Amazon Web Services Korea

사례로 알아보는 Database Migration Service : 데이터베이스 및 데이터 이관, 통합, 분리, 분석의 도구 - 발표자: ...Amazon Web Services Korea

Amazon Elastcsearch Service 소개 및 활용 방법 (윤석찬) Amazon Web Services Korea

How to boost your datamanagement with Dremio ?Vincent Terrasi

효율적인 빅데이터 분석 및 처리를 위한 Glue, EMR 활용 - 김태현 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019Amazon Web Services Korea

Introduction to Apache Tajo: Future of Data WarehouseGruter

Gruter TECHDAY 2014 MelOn BigDataGruter

Mais conteúdo relacionado

Mais procurados

Aurora MySQL Backtrack을 이용한 빠른 복구 방법 - 진교선 :: AWS Database Modernization Day 온라인Amazon Web Services Korea

Data pipeline and data lakeDaeMyung Kang

서비스 모니터링 구현 사례 공유 - Realtime log monitoring platform-PMon을 ...Jemin Huh

Aws glue를 통한 손쉬운 데이터 전처리 작업하기Amazon Web Services Korea

온라인 주문 서비스를 서버리스 아키텍쳐로 구축하기 - 김태우(Classmethod) :: AWS Community Day Online 2020AWSKRUG - AWS한국사용자모임

[NDC18] 야생의 땅 듀랑고의 데이터 엔지니어링 이야기: 로그 시스템 구축 경험 공유 (2부)Hyojun Jeon

CloudWatch 성능 모니터링과 신속한 대응을 위한 노하우 - 박선용 솔루션즈 아키텍트:: AWS Cloud Track 3 GamingAmazon Web Services Korea

Amazon Redshift로 데이터웨어하우스(DW) 구축하기Amazon Web Services Korea

AWS 고객이 주로 겪는 운영 이슈에 대한 해법-AWS Summit Seoul 2017Amazon Web Services Korea

대용량 로그분석 Bigquery로 간단히 사용하기 (20170215 T아카데미)Jaikwang Lee

[236] 카카오의데이터파이프라인 윤도영NAVER D2

AWS 클라우드 이해하기-사례 중심 (정민정) - AWS 웨비나 시리즈Amazon Web Services Korea

로그 기깔나게 잘 디자인하는 법Jeongsang Baek

스토리포인트가이드YoungKi Hong

[AWS Builders] 프리티어 서비스부터 계정 보안까지Amazon Web Services Korea

대용량 데이터레이크 마이그레이션 사례 공유 [카카오게임즈 - 레벨 200] - 조은희, 팀장, 카카오게임즈 ::: Games on AWS ...Amazon Web Services Korea

사례로 알아보는 Database Migration Service : 데이터베이스 및 데이터 이관, 통합, 분리, 분석의 도구 - 발표자: ...Amazon Web Services Korea

Amazon Elastcsearch Service 소개 및 활용 방법 (윤석찬) Amazon Web Services Korea

How to boost your datamanagement with Dremio ?Vincent Terrasi

효율적인 빅데이터 분석 및 처리를 위한 Glue, EMR 활용 - 김태현 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019Amazon Web Services Korea

Mais procurados (20)

Aurora MySQL Backtrack을 이용한 빠른 복구 방법 - 진교선 :: AWS Database Modernization Day 온라인

Data pipeline and data lake

서비스 모니터링 구현 사례 공유 - Realtime log monitoring platform-PMon을 ...

Aws glue를 통한 손쉬운 데이터 전처리 작업하기

온라인 주문 서비스를 서버리스 아키텍쳐로 구축하기 - 김태우(Classmethod) :: AWS Community Day Online 2020

[NDC18] 야생의 땅 듀랑고의 데이터 엔지니어링 이야기: 로그 시스템 구축 경험 공유 (2부)

CloudWatch 성능 모니터링과 신속한 대응을 위한 노하우 - 박선용 솔루션즈 아키텍트:: AWS Cloud Track 3 Gaming

Amazon Redshift로 데이터웨어하우스(DW) 구축하기

AWS 고객이 주로 겪는 운영 이슈에 대한 해법-AWS Summit Seoul 2017

대용량 로그분석 Bigquery로 간단히 사용하기 (20170215 T아카데미)

[236] 카카오의데이터파이프라인 윤도영

AWS 클라우드 이해하기-사례 중심 (정민정) - AWS 웨비나 시리즈

로그 기깔나게 잘 디자인하는 법

스토리포인트가이드

[AWS Builders] 프리티어 서비스부터 계정 보안까지

대용량 데이터레이크 마이그레이션 사례 공유 [카카오게임즈 - 레벨 200] - 조은희, 팀장, 카카오게임즈 ::: Games on AWS ...

사례로 알아보는 Database Migration Service : 데이터베이스 및 데이터 이관, 통합, 분리, 분석의 도구 - 발표자: ...

Amazon Elastcsearch Service 소개 및 활용 방법 (윤석찬)

How to boost your datamanagement with Dremio ?

효율적인 빅데이터 분석 및 처리를 위한 Glue, EMR 활용 - 김태현 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019

Destaque

Introduction to Apache Tajo: Future of Data WarehouseGruter

Gruter TECHDAY 2014 MelOn BigDataGruter

Introduction to Apache Tajo: Data Warehouse for Big DataGruter

빅데이터, 창업이야기, 그리고 Data-Driven Startup [Insight Live 20141119]Jaesun Han

스마트 시티의 빅데이터 분석론 - 최준영datasciencekorea

빅데이터 분석 시각화 분석 : 1장 시각화정의 2장 프로세스Ji Lee

빅데이터 분석 시각화 분석 : 3장 시각화 방법Ji Lee

Expanding Your Data Warehouse with TajoGruter

[2016 데이터 그랜드 컨퍼런스] 2 4(빅데이터). 오픈메이트 공간정보로 풀어보는 빅데이터 세상K data

최인철Inchul Choi

응답하라 청춘 hhj7934

Boomer 마케팅2팀 네이버&멜론 제안서jackboom

Introduction to Apache TajoGruter

Elastic Search Performance Optimization - Deview 2014Gruter

내가 좋아하는 인터넷_서비스oinging17

Data-Driven Government: Explore the Four Pillars of ValueThomas Robbins

빅 데이터, 새로운 통찰력현주 유

[2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안K data

홍익경영혁신2015 a831219 이규희gyuhee

244 5rocks-deviewNAVER D2

Destaque (20)

Introduction to Apache Tajo: Future of Data Warehouse

Gruter TECHDAY 2014 MelOn BigData

Introduction to Apache Tajo: Data Warehouse for Big Data

빅데이터, 창업이야기, 그리고 Data-Driven Startup [Insight Live 20141119]

스마트 시티의 빅데이터 분석론 - 최준영

빅데이터 분석 시각화 분석 : 1장 시각화정의 2장 프로세스

빅데이터 분석 시각화 분석 : 3장 시각화 방법

Expanding Your Data Warehouse with Tajo

[2016 데이터 그랜드 컨퍼런스] 2 4(빅데이터). 오픈메이트 공간정보로 풀어보는 빅데이터 세상

최인철

응답하라 청춘

Boomer 마케팅2팀 네이버&멜론 제안서

Introduction to Apache Tajo

Elastic Search Performance Optimization - Deview 2014

내가 좋아하는 인터넷_서비스

Data-Driven Government: Explore the Four Pillars of Value

빅 데이터, 새로운 통찰력

[2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

홍익경영혁신2015 a831219 이규희

244 5rocks-deview

Mais de Gruter

스타트업사례로 본 로그 데이터분석 : Tajo on AWSGruter

What's New Tajo 0.10 and Its BeyondGruter

Big data analysis with R and Apache Tajo (in Korean)Gruter

Efficient In‐situ Processing of Various Storage Types on Apache TajoGruter

Tajo TPC-H Benchmark Test on AWSGruter

Data analysis with TajoGruter

Gruter TECHDAY 2014 Realtime Processing in TelcoGruter

Gruter_TECHDAY_2014_04_TajoCloudHandsOn (in Korean)Gruter

Gruter_TECHDAY_2014_03_ApacheTajo (in Korean)Gruter

Gruter_TECHDAY_2014_01_SearchEngine (in Korean)Gruter

Apache Tajo - BWC 2014Gruter

Hadoop security DeView 2014Gruter

Vectorized processing in_a_nutshell_DeView2014Gruter

Big Data Camp LA 2014 - Apache Tajo: A Big Data Warehouse System on HadoopGruter

Hadoop Summit 2014: Query Optimization and JIT-based Vectorized Execution in ...Gruter

Cloumon sw제품설명회 발표자료Gruter

Tajo and SQL-on-Hadoop in Tech Planet 2013Gruter

SQL-on-Hadoop with Apache Tajo, and application case of SK TelecomGruter

Tajo case study bay area hug 20131105Gruter

Apache Tajo - Bay Area HUG Nov. 2013 LinkedIn Special EventGruter

Mais de Gruter (20)

스타트업사례로 본 로그 데이터분석 : Tajo on AWS

What's New Tajo 0.10 and Its Beyond

Big data analysis with R and Apache Tajo (in Korean)

Efficient In‐situ Processing of Various Storage Types on Apache Tajo

Tajo TPC-H Benchmark Test on AWS

Data analysis with Tajo

Gruter TECHDAY 2014 Realtime Processing in Telco

Gruter_TECHDAY_2014_04_TajoCloudHandsOn (in Korean)

Gruter_TECHDAY_2014_03_ApacheTajo (in Korean)

Gruter_TECHDAY_2014_01_SearchEngine (in Korean)

Apache Tajo - BWC 2014

Hadoop security DeView 2014

Vectorized processing in_a_nutshell_DeView2014

Big Data Camp LA 2014 - Apache Tajo: A Big Data Warehouse System on Hadoop

Hadoop Summit 2014: Query Optimization and JIT-based Vectorized Execution in ...

Cloumon sw제품설명회 발표자료

Tajo and SQL-on-Hadoop in Tech Planet 2013

SQL-on-Hadoop with Apache Tajo, and application case of SK Telecom

Tajo case study bay area hug 20131105

Apache Tajo - Bay Area HUG Nov. 2013 LinkedIn Special Event

MelOn 빅데이터 플랫폼과 Tajo 이야기

1. MelOn 빅데이터 플랫폼과 Tajo 이야기 2016.04 플랫폼개발팀 윤병화PL

2. 로엔 엔터테인먼트 소개 • 국내 최대 음악 플랫폼 멜론 • 국내 최대 음악 유통 • 음악 콘텐츠 투자/제작, 아티스트 매니지먼트

3. Music Life Connected Platform으로 진화 • 이해 관계자의 Value가 지속 교환될 수 있는 플랫폼 • 사용자 컨텐츠 소비 분석. 2004년 ~ 현재

4. 파트너사용 통계

5. 데이터 양 • 일 평균 1억건 이상 컨텐츠 소비 건수 • 일 2TB 이상 데이터 증가 (최소 정보 저장) • 일 500TB 이상 서비스 데이터 생성

6. 빅데이터 플랫폼 구축 • 수집 - 분석 - 서비스

7. 빅데이터 플랫폼 개선 • 기민한 데이터 서비스를 위한 플랫폼 개선 • 실시간 수집 강화 • Tajo(SQL on Hadoop) 전환을 통한 분석 시간 단축

8. 빅데이터 서비스 안정성 확보

9. Tajo와 준 실시간 마케팅

10. 지원

11. 기여

12. 향후

13. Q & A combine at iloen.com