MelOn 빅데이터 플랫폼과 Tajo 이야기

•

15 gostaram•3,202 visualizações

Gruter

2016년 4월 Tajo meetup 발표 자료 (로엔엔터테인먼트 윤병화 PL)

Dados e análise

MelOn 빅데이터 플랫폼과 Tajo 이야기
2016.04 플랫폼개발팀 윤병화PL

로엔 엔터테인먼트 소개
• 국내 최대 음악 플랫폼 멜론
• 국내 최대 음악 유통
• 음악 콘텐츠 투자/제작, 아티스트 매니지먼트

Music Life Connected Platform으로 진화
• 이해 관계자의 Value가 지속 교환될 수 있는 플랫폼
• 사용자 컨텐츠 소비 분석. 2004년 ~ 현재

데이터 양
• 일 평균 1억건 이상 컨텐츠 소비 건수
• 일 2TB 이상 데이터 증가 (최소 정보 저장)
• 일 500TB 이상 서비스 데이터 생성

빅데이터 플랫폼 개선
• 기민한 데이터 서비스를 위한 플랫폼 개선
• 실시간 수집 강화
• Tajo(SQL on Hadoop) 전환을 통한 분석 시간 단축

Recomendados

[236] 카카오의데이터파이프라인 윤도영NAVER D2

Pinot: Enabling Real-time Analytics Applications @ LinkedIn's ScaleSeunghyun Lee

Stream Processing made simple with KafkaDataWorks Summit/Hadoop Summit

Amazon EMR - Enhancements on Cost/Performance, Serverless - 발표자: 김기영, Sr Anal...Amazon Web Services Korea

Intro to Pinot (2016-01-04)Jean-François Im

데브시스터즈 데이터 레이크 구축 이야기 : Data Lake architecture case study (박주홍 데이터 분석 및 인프라 팀...Amazon Web Services Korea

Pinot: Realtime Distributed OLAP datastoreKishore Gopalakrishna

Using Apache Arrow, Calcite, and Parquet to Build a Relational CacheDremio Corporation

Simplify and Scale Data Engineering Pipelines with Delta LakeDatabricks

An Introduction to DruidDataWorks Summit

Netflix Data Pipeline With KafkaAllen (Xiaozhong) Wang

[215] Druid로 쉽고 빠르게 데이터 분석하기NAVER D2

Analyzing Petabyte Scale Financial Data with Apache Pinot and Apache Kafka | ...HostedbyConfluent

Object storage의 이해와 활용Seoro Kim

When Kafka Meets the Scaling and Reliability needs of World's Largest Retaile...confluent

대용량 로그분석 Bigquery로 간단히 사용하기 20160930Jaikwang Lee

Optimizing S3 Write-heavy Spark workloadsdatamantra

Effective AIOps with Open Source Software in a WeekDatabricks

Cloud Native Landscape (CNCF and OCI)Chris Aniszczyk

Distributed stream processing with Apache Kafkaconfluent

Change Data Capture to Data Lakes Using Apache Pulsar and Apache Hudi - Pulsa...StreamNative

[DevGround] 린하게 구축하는 스타트업 데이터파이프라인Jae Young Park

Real-time Analytics with Upsert Using Apache Kafka and Apache Pinot | Yupeng ...HostedbyConfluent

Batch and Stream Graph Processing with Apache FlinkVasia Kalavri

Distributed tracing 101Itiel Shwartz

Building a Virtual Data Lake with Apache ArrowDremio Corporation

Spark (Structured) Streaming vs. Kafka Streams - two stream processing platfo...Guido Schmutz

Keeping Up with the ELK Stack: Elasticsearch, Kibana, Beats, and LogstashAmazon Web Services

Introduction to Apache Tajo: Future of Data WarehouseGruter

Gruter TECHDAY 2014 MelOn BigDataGruter

Mais conteúdo relacionado

Mais procurados

Simplify and Scale Data Engineering Pipelines with Delta LakeDatabricks

An Introduction to DruidDataWorks Summit

Netflix Data Pipeline With KafkaAllen (Xiaozhong) Wang

[215] Druid로 쉽고 빠르게 데이터 분석하기NAVER D2

Analyzing Petabyte Scale Financial Data with Apache Pinot and Apache Kafka | ...HostedbyConfluent

Object storage의 이해와 활용Seoro Kim

When Kafka Meets the Scaling and Reliability needs of World's Largest Retaile...confluent

대용량 로그분석 Bigquery로 간단히 사용하기 20160930Jaikwang Lee

Optimizing S3 Write-heavy Spark workloadsdatamantra

Effective AIOps with Open Source Software in a WeekDatabricks

Cloud Native Landscape (CNCF and OCI)Chris Aniszczyk

Distributed stream processing with Apache Kafkaconfluent

Change Data Capture to Data Lakes Using Apache Pulsar and Apache Hudi - Pulsa...StreamNative

[DevGround] 린하게 구축하는 스타트업 데이터파이프라인Jae Young Park

Real-time Analytics with Upsert Using Apache Kafka and Apache Pinot | Yupeng ...HostedbyConfluent

Batch and Stream Graph Processing with Apache FlinkVasia Kalavri

Distributed tracing 101Itiel Shwartz

Building a Virtual Data Lake with Apache ArrowDremio Corporation

Spark (Structured) Streaming vs. Kafka Streams - two stream processing platfo...Guido Schmutz

Keeping Up with the ELK Stack: Elasticsearch, Kibana, Beats, and LogstashAmazon Web Services

Mais procurados (20)

Simplify and Scale Data Engineering Pipelines with Delta Lake

An Introduction to Druid

Netflix Data Pipeline With Kafka

[215] Druid로 쉽고 빠르게 데이터 분석하기

Analyzing Petabyte Scale Financial Data with Apache Pinot and Apache Kafka | ...

Object storage의 이해와 활용

When Kafka Meets the Scaling and Reliability needs of World's Largest Retaile...

대용량 로그분석 Bigquery로 간단히 사용하기 20160930

Optimizing S3 Write-heavy Spark workloads

Effective AIOps with Open Source Software in a Week

Cloud Native Landscape (CNCF and OCI)

Distributed stream processing with Apache Kafka

Change Data Capture to Data Lakes Using Apache Pulsar and Apache Hudi - Pulsa...

[DevGround] 린하게 구축하는 스타트업 데이터파이프라인

Real-time Analytics with Upsert Using Apache Kafka and Apache Pinot | Yupeng ...

Batch and Stream Graph Processing with Apache Flink

Distributed tracing 101

Building a Virtual Data Lake with Apache Arrow

Spark (Structured) Streaming vs. Kafka Streams - two stream processing platfo...

Keeping Up with the ELK Stack: Elasticsearch, Kibana, Beats, and Logstash

Destaque

Introduction to Apache Tajo: Future of Data WarehouseGruter

Gruter TECHDAY 2014 MelOn BigDataGruter

Introduction to Apache Tajo: Data Warehouse for Big DataGruter

빅데이터, 창업이야기, 그리고 Data-Driven Startup [Insight Live 20141119]Jaesun Han

스마트 시티의 빅데이터 분석론 - 최준영datasciencekorea

빅데이터 분석 시각화 분석 : 1장 시각화정의 2장 프로세스Ji Lee

빅데이터 분석 시각화 분석 : 3장 시각화 방법Ji Lee

Expanding Your Data Warehouse with TajoGruter

[2016 데이터 그랜드 컨퍼런스] 2 4(빅데이터). 오픈메이트 공간정보로 풀어보는 빅데이터 세상K data

최인철Inchul Choi

응답하라 청춘 hhj7934

Boomer 마케팅2팀 네이버&멜론 제안서jackboom

Introduction to Apache TajoGruter

Elastic Search Performance Optimization - Deview 2014Gruter

내가 좋아하는 인터넷_서비스oinging17

Data-Driven Government: Explore the Four Pillars of ValueThomas Robbins

빅 데이터, 새로운 통찰력현주 유

[2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안K data

홍익경영혁신2015 a831219 이규희gyuhee

244 5rocks-deviewNAVER D2

Destaque (20)

Introduction to Apache Tajo: Future of Data Warehouse

Gruter TECHDAY 2014 MelOn BigData

Introduction to Apache Tajo: Data Warehouse for Big Data

빅데이터, 창업이야기, 그리고 Data-Driven Startup [Insight Live 20141119]

스마트 시티의 빅데이터 분석론 - 최준영

빅데이터 분석 시각화 분석 : 1장 시각화정의 2장 프로세스

빅데이터 분석 시각화 분석 : 3장 시각화 방법

Expanding Your Data Warehouse with Tajo

[2016 데이터 그랜드 컨퍼런스] 2 4(빅데이터). 오픈메이트 공간정보로 풀어보는 빅데이터 세상

최인철

응답하라 청춘

Boomer 마케팅2팀 네이버&멜론 제안서

Introduction to Apache Tajo

Elastic Search Performance Optimization - Deview 2014

내가 좋아하는 인터넷_서비스

Data-Driven Government: Explore the Four Pillars of Value

빅 데이터, 새로운 통찰력

[2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

홍익경영혁신2015 a831219 이규희

244 5rocks-deview

Mais de Gruter

스타트업사례로 본 로그 데이터분석 : Tajo on AWSGruter

What's New Tajo 0.10 and Its BeyondGruter

Big data analysis with R and Apache Tajo (in Korean)Gruter

Efficient In‐situ Processing of Various Storage Types on Apache TajoGruter

Tajo TPC-H Benchmark Test on AWSGruter

Data analysis with TajoGruter

Gruter TECHDAY 2014 Realtime Processing in TelcoGruter

Gruter_TECHDAY_2014_04_TajoCloudHandsOn (in Korean)Gruter

Gruter_TECHDAY_2014_03_ApacheTajo (in Korean)Gruter

Gruter_TECHDAY_2014_01_SearchEngine (in Korean)Gruter

Apache Tajo - BWC 2014Gruter

Hadoop security DeView 2014Gruter

Vectorized processing in_a_nutshell_DeView2014Gruter

Big Data Camp LA 2014 - Apache Tajo: A Big Data Warehouse System on HadoopGruter

Hadoop Summit 2014: Query Optimization and JIT-based Vectorized Execution in ...Gruter

Cloumon sw제품설명회 발표자료Gruter

Tajo and SQL-on-Hadoop in Tech Planet 2013Gruter

SQL-on-Hadoop with Apache Tajo, and application case of SK TelecomGruter

Tajo case study bay area hug 20131105Gruter

Apache Tajo - Bay Area HUG Nov. 2013 LinkedIn Special EventGruter

Mais de Gruter (20)

스타트업사례로 본 로그 데이터분석 : Tajo on AWS

What's New Tajo 0.10 and Its Beyond

Big data analysis with R and Apache Tajo (in Korean)

Efficient In‐situ Processing of Various Storage Types on Apache Tajo

Tajo TPC-H Benchmark Test on AWS

Data analysis with Tajo

Gruter TECHDAY 2014 Realtime Processing in Telco

Gruter_TECHDAY_2014_04_TajoCloudHandsOn (in Korean)

Gruter_TECHDAY_2014_03_ApacheTajo (in Korean)

Gruter_TECHDAY_2014_01_SearchEngine (in Korean)

Apache Tajo - BWC 2014

Hadoop security DeView 2014

Vectorized processing in_a_nutshell_DeView2014

Big Data Camp LA 2014 - Apache Tajo: A Big Data Warehouse System on Hadoop

Hadoop Summit 2014: Query Optimization and JIT-based Vectorized Execution in ...

Cloumon sw제품설명회 발표자료

Tajo and SQL-on-Hadoop in Tech Planet 2013

SQL-on-Hadoop with Apache Tajo, and application case of SK Telecom

Tajo case study bay area hug 20131105

Apache Tajo - Bay Area HUG Nov. 2013 LinkedIn Special Event

MelOn 빅데이터 플랫폼과 Tajo 이야기

1. MelOn 빅데이터 플랫폼과 Tajo 이야기 2016.04 플랫폼개발팀 윤병화PL

2. 로엔 엔터테인먼트 소개 • 국내 최대 음악 플랫폼 멜론 • 국내 최대 음악 유통 • 음악 콘텐츠 투자/제작, 아티스트 매니지먼트

3. Music Life Connected Platform으로 진화 • 이해 관계자의 Value가 지속 교환될 수 있는 플랫폼 • 사용자 컨텐츠 소비 분석. 2004년 ~ 현재

4. 파트너사용 통계

5. 데이터 양 • 일 평균 1억건 이상 컨텐츠 소비 건수 • 일 2TB 이상 데이터 증가 (최소 정보 저장) • 일 500TB 이상 서비스 데이터 생성

6. 빅데이터 플랫폼 구축 • 수집 - 분석 - 서비스

7. 빅데이터 플랫폼 개선 • 기민한 데이터 서비스를 위한 플랫폼 개선 • 실시간 수집 강화 • Tajo(SQL on Hadoop) 전환을 통한 분석 시간 단축

8. 빅데이터 서비스 안정성 확보

9. Tajo와 준 실시간 마케팅

10. 지원

11. 기여

12. 향후

13. Q & A combine at iloen.com