1. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
DATABRICKS
데이터, 분석 및 AI를 통합하는
단 하나의 레이크하우스
Databricks on AWS로 시작하기
고영경
시니어 솔루션즈 아키텍트
데이터브릭스 코리아

2. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
데이터 레이크하우스 ?
레이크하우스 ?
레이크하우스 플랫폼을 활용한 혁신 사례
AWS에서 레이크하우스 시작하기
Agenda

3. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
30억 달러
투자 규모
9000+
글로벌 고객사
10억 달러+
2022년 매출
데이터 레이크하우스의
개척자이자 선구자
Gartner 선정 리더
데이터베이스 관리 시스템
데이터 사이언스 및 머신러닝 플랫폼
The Lakehouse Company
오픈소스 개발

4. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
데이터와 AI 활용은 모든 기업의 공통 과제
데이터 + AI 성숙도
경쟁
우위
정제된
데이터
보고서
애드혹
쿼리
데이터
탐색
예측적
모델링
규범적
분석
자동화된
의사결정
무슨 일이 발생할 것인가?
어떻게 대응할 것인가?
무슨 일이 발생했는가?
자동으로 최선의 의사결정
4

5. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
비즈니스
인텔리전스
거버넌스
AI
데이터 사이언스
및 ML
스트리밍
오케스트레이션
데이터
웨어하우스 데이터
레이크

6. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
비즈니스
인텔리전스
거버넌스
데이터 사이언스
및 ML
스트리밍
오케스트레이션
데이터
웨어하우스 데이터
레이크
데이터 사일로
높은 운영 비용
일관된 관리와
거버넌스의 어려움
서로 다른 도구 사용으로
팀 간 협업 및 생산성 저하
불필요

7. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
BI 및 데이터
웨어하우징
데이터
엔지니어링
데이터
스트리밍
데이터
사이언스 및 ML
단일 통합 플랫폼에서 다양한 사용자 유형 지원
모든 유형의 데이터를 통합 관리하는
단일 데이터 관리 플랫폼
차별화된 접근 방식의 데이터 레이크하우스
조직 내 모든 데이터 액세스에 대한
단일 보안 및 거버넌스 모델
Amazon S3
클라우드 데이터 레이크

8. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Delta Lake
개방형 데이터레이크 스토리지 레이어
Unity Catalog
정형/비정형 데이터에 대한 통합 거버넌스 체계
단일 통합 플랫폼에서 다양한 사용자 유형 지원
Databricks
SQL
Databricks
Workflows
Delta Live
Tables
Databricks
ML
유일한 통합 레이크하우스를 제공하는 데이터브릭스
Amazon S3
간결
클라우드 데이터 레이크

9. ©2023 Databricks Inc. — All rights reserved

10. ©2023 Databricks Inc. — All rights reserved

11. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
, AI

12. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
데이터 엔지니어링 – ETL
• Delta Lake 기반으로 ACID ,
/ 데이터 처리의 신뢰성과
빠른 성능 제공
• Delta Live Tables로 ETL 파이프라인을
빠르게 개발하고 쉽게 배포/운영
• Databricks Workflow로 작업 스케줄과
오케스트레이션

13. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Delta Live Tables로 ETL 파이프라인 개발
선언적 로직 작성
파이프라인 셋업
파이프라인 실행
파이프라인 모니터링

14. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
데이터레이크 기반으로 고성능 SQL 분석
• 별도의 데이터 적재 없이, 데이터레이크의
최신 데이터를 바로 쿼리
• 고성능 Photon 엔진으로 빠른 성능과
동시처리, 뛰어난 가성비
• 네이티브 SQL 인터페이스, 빌트인 시각화,
다양한 BI 도구와 쉽게 연동

15. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Photon
• C++
• MPP
• ,
Spark API 100%
3-8x
더 빠른 대화형 워크로드
1/5
ETL의 컴퓨팅 비용
30%
평균 TCO 절감

16. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
End-to-End 머신러닝 및 데이터 사이언
• 머신러닝 전체 과정을 mlflow로 쉽게 관리
• AutoML ML
• feature store, model registry
• 협업 가능한 노트북

17. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AutoML ML
Configure
Train & Evaluate
Customize ( )
Deploy

18. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
레이크하우스 통합 거버넌스 - Unity Catalog
모든 데이터
• 웨어하우스 테이블, 컬럼
• 데이터레이크 파일
• 머신러닝 모델, 대시보드, 노트북*
주요 기능
• 데이터 리니지 자동 생성
• Auditing
• Delta sharing으로 안전한 데이터 공유
* coming soon

19. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS

20. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS에서 데이터브릭스를 사용하는 이유
간결한 아키텍처
S3 데이터레이크 기반으로
BI와 AI를 모두 지원하는
통합 데이터 아키텍처
최대 12x 뛰어난 가성비
최적화된 컴퓨트 클러스터로
데이터레이크의 경제성과 데
이터웨어하우스의 성능을 제공
검증된 고객 사례
전세계 수 천개 고객사들이
AWS에서 데이터브릭스로
분석 플랫폼을 구축 운영 중

21. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
레이크하우스를 이용한 혁신 사례

22. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
레이크하우스를 이용한 혁신 사례

23. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Solution Accelerator
인더스트리의 사례 샘플 데이터와 노트북으로 제공, 아이디어를 빠르게 PoC 로 구현

24. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS에서 레이크하우스를 바로 시작하세요
AWS Marketplace에서 databricks를 검색하고, 14일간 Free Trial로 사용해 보세요

25. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.

26. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.