데이터 수집부터 시각화까지

•Transferir como PPTX, PDF•

5 gostaram•853 visualizações

용호 최

엘라스틱서치 실무가이드 저자 강연 발표자료입니다.

Engenharia

발표자
• 최용호
• 넥슨 코리아
• 자바카페 운영진
• 엘라스틱서치 실무 가이드 저자 중 1인

1. 데이터 수집의 목적
2. 데이터 파이프라인
3. 로그스태시
4. 키바나

데이터 수집
데이터 소스
• 수집할 데이터의 대상
• 데이터베이스, 웹, 파일 등등

데이터 가공
데이터 소스
가공
• 필요 없는 데이터 제거
• 데이터 형식 변환
• 데이터 첨가

데이터 저장
데이터 소스
저장소
가공
수집되는 데이터의 양과 속도에 대
응하기 위해 NoSQL 데이터베이스
를 주로 사용

로그스태시 역할
데이터 소스
가공
Input
Plugin
Filter
Plugin

로그스태시 역할
데이터 소스
가공
Input
Plugin
Filter
Plugin
Output
Plugin

Mais conteúdo relacionado

Mais procurados

RUCK 2017 - 강병엽 - Spark와 R을 연동한 빅데이터 분석

r-kor

Expanding Your Data Warehouse with Tajo

Matthew (정재화)

Gruter TECHDAY 2014 MelOn BigData

Gruter

elasticsearch_적용 및 활용_정리

Junyi Song

Log Collection and Analysis with elk Stack

t lc

Fundamental of ELK Stack

주표 홍

Daum내부 Hadoop 활용 사례 | Devon 2012

Daum DNA

[스프링 스터디 3일차] 데이터엑세스기술

AnselmKim

검색 서비스 간략 교육

Rjs Ryu

Feature perf comp_v1

InfiniFlux Korea

Mais procurados (10)

RUCK 2017 - 강병엽 - Spark와 R을 연동한 빅데이터 분석

Expanding Your Data Warehouse with Tajo

Gruter TECHDAY 2014 MelOn BigData

elasticsearch_적용 및 활용_정리

Log Collection and Analysis with elk Stack

Fundamental of ELK Stack

Daum내부 Hadoop 활용 사례 | Devon 2012

[스프링 스터디 3일차] 데이터엑세스기술

검색 서비스 간략 교육

Feature perf comp_v1

Semelhante a 데이터 수집부터 시각화까지

고성능 빅데이터 수집 및 분석 솔루션 - 티맥스소프트 허승재 팀장

eungjin cho

[ http://infiniflux.com/download ] The world's fastest time series DBMS. What is InfiniFlux? 1) InfiniFlux is a time-series database which performs real-time data processing, i.e., data are inserted at high speed, retrieved and analyzed without elapsed time. 2) InfiniFlux also compresses and stores data in real-time. Its query language and syntax complies with the SQL standard. The extended SQL syntax provides additional features such as the text search tool.

Infiniflux introduction

InfiniFlux Korea

Real-time Big Data Analytics Practice with Unstructured Data

Ted Won

Elastic Stack & Data pipeline

Jongho Woo

Lab Seminar - Reading Wikipedia to Answer Open-Domain Questions (DrQA)

hkh

데브시스터즈 데이터 레이크 구축 이야기 : Data Lake architecture case study 이 세션에서는 데브시스터즈의 Case Study를 통하여 Data Lake를 만들고 사용하는데 있어 요구 되는 사항들에 대해 공유합니다. 여러 목적에 맞는 데이터를 전달하기 위해 AWS 를 활용하여 Data Lake 를 구축하게된 계기와 실제 구축 작업을 하면서 경험하게 된 것들에 대해 말씀드리고자 합니다. 기존 인프라 구조 대비 효율성 및 비용적 측면을 소개해드리고, 빅데이터를 이용한 부서별 데이터 세분화를 진행할 때 어떠한 Architecture가 사용되었는지 소개드리고자 합니다.

데브시스터즈 데이터 레이크 구축 이야기 : Data Lake architecture case study (박주홍 데이터 분석 및 인프라 팀...

Amazon Web Services Korea

Apache Zeppelin으로 데이터 분석하기

SangWoo Kim

DeView2013 Big Data Platform Architecture with Hadoop - Hyeong-jun Kim

Gruter

2017 중간발표 준비(수정)

병필 임

Spark + S3 + R3를 이용한 데이터 분석 시스템 만들기

AWSKRUG - AWS한국사용자모임

Portfolio

ByungHak Jang

Datawarehouse를 이용한 데이터 블렌딩

Pikdata Inc.

본 영상은 2021-2 KMOOC-데이터엔지니어링 강의의 원본이며, 강좌 오픈 이후에는 질의 응답 채널으로 이용 예정입니다. 각 Topic에 질문 해주시면 가능한 답은 달아드리도록 하겠습니다. 강의노트 (SlideShare) - https://www.slideshare.net/ssuser4a9113 코드 (GitHub) - https://github.com/JaewookByun/data_engineering 총 11강 구성 - ArrayList 연산 - MyArrayList - 배열 기반 List interface 구현 - LinkedList 연산 - MyLinkedList - 참조 기반 List & Queue interfaces 구현 - HashSet/HashMap 연산 - Lambda Expression - Stream - Open JDK 15에서 이용가능한 거의 대부분의 연산을 다루려고 노력함

데이터 분석 1 - 소개

Jaewook Byun

(책 소개) 엘라스틱 스택 개발부터 운영까지

Jay Park

Druid+superset

Dongwoo Lee

[215]네이버콘텐츠통계서비스소개 김기영

NAVER D2

그림으로 공부하는 오라클 구조

Choonghyun Yang

빅데이터 기술 현황과 시장 전망(2014)

Channy Yun

데이터 엔지니어링 프로젝트를 진행한 Catch, Traffic! 팀에서는 아래와 같은 프로젝트를 진행했습니다. 수도권 교통의 혼잡성을 해결하기 위한 방안을 찾는 데이터 파이프라인 구축 18기 김인섭 숭실대학교 산업정보시스템공학과 18기 김재민 국민대학교 AI빅데이터융합경영학과 18기 서은유 동덕여자대학교 정보통계학과 18기 윤정원 숙명여자대학교 소프트웨어융합전공 18기 이현진 서울과학기술대학교 산업정보시스템전공 18기 조은학 명지대학교 융합소프트웨어학부

제 17회 보아즈(BOAZ) 빅데이터 컨퍼런스 - [Catch, Traffic!] : 지하철 혼잡도 및 키워드 분석 데이터 파이프라인 구축

BOAZ Bigdata

LevelDB 간단한 소개

종빈 오

Semelhante a 데이터 수집부터 시각화까지 (20)

고성능 빅데이터 수집 및 분석 솔루션 - 티맥스소프트 허승재 팀장

Infiniflux introduction

Real-time Big Data Analytics Practice with Unstructured Data

Elastic Stack & Data pipeline

Lab Seminar - Reading Wikipedia to Answer Open-Domain Questions (DrQA)

데브시스터즈 데이터 레이크 구축 이야기 : Data Lake architecture case study (박주홍 데이터 분석 및 인프라 팀...

Apache Zeppelin으로 데이터 분석하기

DeView2013 Big Data Platform Architecture with Hadoop - Hyeong-jun Kim

2017 중간발표 준비(수정)

Spark + S3 + R3를 이용한 데이터 분석 시스템 만들기

Portfolio

Datawarehouse를 이용한 데이터 블렌딩

데이터 분석 1 - 소개

(책 소개) 엘라스틱 스택 개발부터 운영까지

Druid+superset

[215]네이버콘텐츠통계서비스소개 김기영

그림으로 공부하는 오라클 구조

빅데이터 기술 현황과 시장 전망(2014)

제 17회 보아즈(BOAZ) 빅데이터 컨퍼런스 - [Catch, Traffic!] : 지하철 혼잡도 및 키워드 분석 데이터 파이프라인 구축

LevelDB 간단한 소개

Mais de 용호 최

작업공간 - 나만을 위한 카페를 찾는 카페 유목민을 위한 서비스

용호 최

내 주변 작업하기 좋은 카페 찾아주는 웹앱 "작업공간" - CI/CD

용호 최

내 주변 작업하기 좋은 카페 찾아주는 웹앱 "작업공간" - 백엔드 아키텍처

용호 최

빠르고 안정적인 게임 시장 진출을 위한 클라우드 전략 - 최용호

용호 최

쿠알못이 Amazon EKS로 안정적인 서비스 운영하기 - 최용호

용호 최

개발자로써 갖춰야할 스킬들 - 최용호

용호 최

Terraform 입문 - 최용호

용호 최

ElasticStack으로 다양한 수집 아키텍처 구성하기

용호 최

[For.D] 개발자 경력을 위한 소프트 스킬 (2019)

용호 최

[DDD] 모바일 게임을 만들기 위한 AWS 고군분투기 (2019)

용호 최

[자바카페] Elasticsearch Aggregation (2018)

용호 최

[GCP Summit 2018] Kubernetes with Nginx and Elasticsearch on GCP

용호 최

[넥슨] kubernetes 소개 (2018)

용호 최

[AWS Summit 2018] 모바일 게임을 만들기 위한 AWS 고군분투기

용호 최

[넥슨토크] 모바일게임 하이브 런칭기 (2018)

용호 최

[자바카페] Infra CI (2018)

용호 최

[AWSKRUG] 모바일게임 하이브 런칭기 (2018)

용호 최

[자바카페] 람다 아키텍처, 더 깊이 살펴보기

용호 최

[자바카페] 람다 일괄처리 계층 사례

용호 최

[자바카페] 람다 일괄처리 계층

용호 최

Mais de 용호 최 (20)

작업공간 - 나만을 위한 카페를 찾는 카페 유목민을 위한 서비스

내 주변 작업하기 좋은 카페 찾아주는 웹앱 "작업공간" - CI/CD

내 주변 작업하기 좋은 카페 찾아주는 웹앱 "작업공간" - 백엔드 아키텍처

빠르고 안정적인 게임 시장 진출을 위한 클라우드 전략 - 최용호

쿠알못이 Amazon EKS로 안정적인 서비스 운영하기 - 최용호

개발자로써 갖춰야할 스킬들 - 최용호

Terraform 입문 - 최용호

ElasticStack으로 다양한 수집 아키텍처 구성하기

[For.D] 개발자 경력을 위한 소프트 스킬 (2019)

[DDD] 모바일 게임을 만들기 위한 AWS 고군분투기 (2019)

[자바카페] Elasticsearch Aggregation (2018)

[GCP Summit 2018] Kubernetes with Nginx and Elasticsearch on GCP

[넥슨] kubernetes 소개 (2018)

[AWS Summit 2018] 모바일 게임을 만들기 위한 AWS 고군분투기

[넥슨토크] 모바일게임 하이브 런칭기 (2018)

[자바카페] Infra CI (2018)

[AWSKRUG] 모바일게임 하이브 런칭기 (2018)

[자바카페] 람다 아키텍처, 더 깊이 살펴보기

[자바카페] 람다 일괄처리 계층 사례

[자바카페] 람다 일괄처리 계층

Último

JMP를 활용한 가속열화 분석 사례

JMP Korea

실험 설계의 평가 방법: Custom Design을 중심으로 반응인자 최적화 및 Criteria 해석

JMP Korea

JMP를 활용한 전자/반도체 산업 Yield Enhancement Methodology

JMP Korea

공학 관점에서 바라본 JMP 머신러닝 최적화

JMP Korea

JMP 기능의 확장 및 내재화의 핵심 JMP-Python 소개

JMP Korea

JMP가 걸어온 여정, 새로운 도약 JMP 18!

JMP Korea

(독서광) 인간이 초대한 대형 참사 - 대형 참사가 일어날 때까지 사람들은 무엇을 하고 있었는가?

Jay Park

데이터 분석 문제 해결을 위한 나의 JMP 활용법

JMP Korea