IBM Storage for AI - NVMe & Spectrum Scale 기술을 탑재한 ESS3000

1. IBM Storage for AI
NVMe & Spectrum Scale 기술을 탑재한
ESS3000 신제품 발표
전상호 실장
File & Object Solution Sales
Software Defined Storage Team
IBM Korea
2020 대비를 위한 IBM 스토리지 Data & AI

2. AI Data Pipeline
전체 구성 및 특징

3. Data and AI Forum by IBM
The Goal: Move Data from Ingest to Insights
EDGE CLASSIFY /
TRANSFORM
ANALYZE / TRAININGEST INSIGHTS

4. Data and AI Forum by IBM
AI Data Pipeline을 위한 각 Storage의 특성
Ingest
Storage Type 특성 비고
Transient Storage
•대규모 벌크 데이터
•용량 및 성능 증설 용이
•범용 서버 & Storage를 활용한 구성
✓Hardware 재활용 (유휴자원 재활용)
•비용 효율적 데이터 저장 Architecture
•다양한 Protocol 지원
•각 Type간 Data 전송 고려
•각 Type간 연동 고려
✓예1) Fast Ingest Storage에서 정
제된 후 지속 사용을 위한 장기보
관 Data는 Global Ingest로 자동
이동 → Data Tiering 구성
✓예2) Transient Storage의 Data를
Real-time Analytics에서 빠르게
참조할 수 있도록 Fast Ingest에서
Caching 구성
Global Ingest
•Object Storage가 가장 적합
✓다양한 형태의 비정형 Data
✓수백억 개 이상의 초 대용량 데이터
✓Global access & Connectionless protocol
Fast Ingest /
Real-time Analytics
•대용량 Data의 고성능 로드
•실시간 분석 및 1차 정제
✓고성능 Storage
✓수십~백 GB/s 이상, 단일 Client에서 수~
십 GB/s

5. Data and AI Forum by IBM
AI Data Pipeline을 위한 각 Storage의 특성
Classify/Transform
Storage Type 특성 비고
Classification &
Metadata Tagging
•대용량 Data에 대한 자동화된 Index &
Tagging 기능
•Ingest Storage에 대한 실시간 Tagging 및
Meta Data DB 관리
•사용자 정의 Policy에 의한 자동화된 파일
분류
•Ingest Storage에 적용된 솔루션과
호환성 검증 필요
ETL / Data
processing
•고성능 Storage
•High Throughput : 수십~백 GB/s 이상, 단
일 Client에서 수~십 GB/s
•High IOPS : Flash Disk. Non-cache hit 조
건에서 High IOPS 성능 필요
•초 대용량, 대량 파일 : 수백억 개 이상의
Meta Data를 지연없이 처리할 수 있는 기
능 필요
•수 KB ~ 수 TB 까지 다양한 종류의 파일에
대한 균등한 성능
•각 Data Processing 노드에서 Data
Read 또는 Write 성능을 극대화 할
수 있는 독립적인 Caching 구축

6. Data and AI Forum by IBM
AI Data Pipeline을 위한 각 Storage의 특성
Analyze/Train
Storage Type 특성 비고
Hadoop / Spark
Data Lakes
•High Throughput이 요구되는 Large file
I/O 대비 분산 처리환경 구현
•ETL 영역으로 부터 원활한 파일 전송/연동
•고성능 Storage + Hadoop Adapter
ML / DL
•가장 빠른 Storage 필요 영역
•Low Latency + High Throughput + High
IOPS
•각 Computing Node의 전용 Read/Write
NVMe 캐쉬
•ML/DL 성능에 직접적 영향 미침
•동일 Data에 대한 반복적 Access
Archive
•Active 아카이브 + Cold 아카이브
•Analyze 시 지속적 참조
✓성능 tier + 대용량 Tier + Cold Tier
✓고성능 영역 + Object Storage + Tape 을
모두 포함하는 계층적 데이터 관리 기능
필요

7. Data and AI Forum by IBM
AI Data Pipeline
Trained Model
SSD/NVMe
ML / DL
Prep Training Inference
Throughput-oriented,
software defined
temporary landing
zone
High throughput
Performance tier
Transient Storage
Global Ingest
Fast Ingest /
Real-time Analytics
Archive
Classification &
Metadata Tagging
SSD
SDS/Cloud
Cloud Hybrid/HDD
INSIGHTSANALYZE / TRAININGEST
Insights Out
High scalability, large/sequential I/O
Capacity tier
EDGE CLASSIFY /
TRANSFORM
TapeHDD Cloud
High volume, index &
auto-tagging zone
Throughput-oriented,
Performance &
capacity tier
Throughput-oriented,
globally accessible
Capacity tier
High throughput, low
latency, random I/O
Performance tier
ETL / Data
processing
Data In
High throughput,
random I/O,
Performance & capacity
Tier
Hadoop / Spark
Data Lakes
SSD/Hybrid Inference

8. Data and AI Forum by IBM
AI Data Pipeline을 최적화하는 IBM 스토리지 솔루션
Spectrum Scale
Cloud Object
Storage
Cloud Object
Storage
Elastic
Storage Server
Elastic
Storage Server
Elastic
Storage Server
Transient Storage
Global Ingest
Fast Ingest /
Real-time Analytics Archive
Spectrum
Archive
Hadoop / Spark
Data Lakes
Data In
Insights Out
INSIGHTSANALYZE / TRAININGESTEDGE
CLASSIFY /
TRANSFORM
SSD
SDS/Cloud
Cloud
SSD/Hybrid
Hybrid/HDD
TapeHDD Cloud
Trained Model
SSD/NVMe
ML / DL
Prep Training Inference
Spectrum Discover Elastic
Storage Server
Cloud Object
Storage
Elastic
Storage Server
ETL/ Data Processing
Classification &
Metadata Tagging
Inference

9. AI Data Pipeline Solution
IBM Spectrum Storage

10. Data and AI Forum by IBM
IBM Spectrum Storage - AI Data Pipeline Solution
IBM
Cloud Object
Storage

11. Data and AI Forum by IBM
IBM Spectrum Scale
Block
iSCSI
Client
workstations
Users and
applications
Compute
farm
Traditional
applications
Shared Namespace
Analytics
Transparent
HDFS
OpenStack
Cinder
Glance
Manila
Object
Swift
S3
Powered by
IBM Spectrum Scale
Automated data placement and data migration
Disk Tape Shared Nothing
Cluster
Flash
New Gen
applications
Worldwide Data
Distribution and
collaboration
Site B
Site A
Site C
SMBNFS
POSIX
File
Encryption
DR Site
AFM-DR
JBOD/JBOF
Spectrum Scale RAID
Compression
Software Only or Appliance
Immutability
Audit Logging
Transparent
Cloud
Tier
Share
Containers
Storage Enabler
for Containers
AFM
Kubernetes
AI

12. Data and AI Forum by IBM
IBM Cloud Object Storage
Gartner 선정 Critical Capability for Object 세계 1위
Use Case 1위 Cloud Storage 1위
Backup / Archive 1위Contents Distribution 1위
Analytics 1위
IBM Cloud Object Storage : Gartner 선정 세계 1위 Object Storage
• Zero replication
• 업계 표준 X86 Commodity 서버
• 70% 이상의 스토리지 비용 절감
• 수백 PB 규모의 실 사용 고객 보유
• Exabyte 이상의 규모
Scale 리더1
Availability 리더
1
• 99.9999999% 이상의 가용성
• Always On
• 높은 안정성/신뢰성
1 Manageability 리더
• 적은 관리 인력 필요
• Zero – Down time
Security 리더1
• Zero-touch / No-key 관리
• Built-in 암호화
Economy 리더1
Innovation 리더1
• 400개 이상의 특허
• 마켓 쉐어 리더

13. Data and AI Forum by IBM
IBM Spectrum Discover
Scanning and
Event Notifications
IBM Spectrum
Discover
File and Object Storage Data Activation/
Optimization
Data Insight
Analyze
Governance
Optimize
•Data discovery
•Dataset 식별
•Data pipeline 진행
•Data 검사
•Data 분류
•Data clean-up
•Archive / tiering
•중복 Data 삭제
•Trivial Data 삭제
Use
Cases
•단순한 설치
(VMware virtual appliance)
•Metadata 수집, 분류, 구조화
•Custom metadata tagging
•Automatic indexing
•Policy-Engine
•Action Agent API
Reporting DashboardSearch

14. Data and AI Forum by IBM
IBM Spectrum Archive
• Spectrum Scale과 연동되어 단일
네임스페이스의 확장
✓Policy-based data placement for cold/idle
data → Transparent Tape Tier
✓Recall data from tape on demand
• 통합된 Tape Tier
✓최대 3벌의 Data 복제본
✓Data Encryption with IBM SKLM server (LME)
✓WORM tape : 변경 방지
✓Offline tape 지원 – 중요 데이터에 대한 소산
또는 Tape Library의 Limit를 초과한 Tape 용량
확보
✓TS4500과 함께 사용할 수 있는 자동화 된
테이프 검증
✓데이터 교환을 위한 LTFS tape
IBM
Cloud Object
Storage
Tier

15. Spectrum Scale
Appliance 소개
IBM Spectrum Storage

16. Virtual Scale-out Storage for High performance & Big Capacity
SSD Fast
Disk
Slow
Disk
Tape
Spectrum Scale
NFS SMBPOSIX Swift/S3HDFS
299B
264개
•단일 File system 최대Size : 299Byte
•단일 File System 최대 inode: 264개
성능
•큰 파일, 작은 파일, 읽기, 쓰기에 모두
적합한 업계 최고의 성능
관리
•다양한 Data Management 기능
•Tiering, Rebalance, Sync/Async 복제
•WORM, On-line Data Migration,
Spectrum Scale

17. Spectrum Scale > 일반적 구성
or SAN
Spectrum Scale
Gateway
Storage
InfiniBand or
10/25/40/100GE
IP Network
Protocol Node
(NFS, CIFS, FTP, HTTP
등)
…
…
Spectrum Scale
Native Client
(RDMA, TCP/IP)
… SAN Client
…
Network Client
(NFS, CIFS, FTP, HTTP)
SAS
Appliance 도입으로
Storage Controller의
저성능 문제 해결
ES
S

18. Data and AI Forum by IBM
Hyper Performance를 위한 여정의 시작
Elastic
Storage
Server

19. Gateway
Server 1
EDR IB
40/10 GbE
Gateway
Server 2
Spectrum Scale
Gateway
Disk
Enclosures
Compute
Node
Spectrum Scale RAID
Storage
Controllers
Disk
Enclosures
Spectrum Scale
Gateway
Gateway
Server 1
Gateway
Server 2
Spectrum Scale RAID
RAID 및 Disk 관리를
고성능 파일서버로 이관
Performance
Cost
Compute
Node

20. ESS는 Power System 및 Storage와 Spectrum Scale 소프트웨어가
결합되어 패키징된 고성능 어플라이언스 Storage 시스템입니다.
ESS(Elastic Storage Server) Specification
Power Systems
S822L
(5148-822L)
5147-084
ESS JBOD
Storage
(5U84)
ESS
IBM Elastic Storage Server
Spectrum Scale RAID

21. IBM Elastic Storage Server (ESS) Family
Model GL4S:
4 Enclosures, 20U
334 NL-SAS, 2 SSD
Model GL2S:
2 Enclosures, 12U
166 NL-SAS, 2 SSD
Capacity
▪ESS 5U84
Storage
▪ESS 5U84
Storage
▪ESS 5U84
Storage
▪ESS 5U84
Storage
▪ESS 5U84
Storage
▪ESS 5U84
Storage
Model GL6S:
6 Enclosures, 28U
502 NL-SAS, 2 SSD
▪ESS 5U84
Storage
▪ESS 5U84
Storage
▪ESS 5U84
Storage
▪ESS 5U84
Storage
▪ESS 5U84
Storage
▪ESS 5U84
Storage
36 GB/s12 GB/s 24 GB/s
Model GL1S:
1 Enclosures, 9U
82 NL-SAS, 2 SSD
▪ESS 5U84
Storage
6 GB/s
System x3650 M40 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
System x3650 M40 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
EXP3524
8
9
16
17
Model GS1S (24 SSD)
EXP3524
8
9
16
17
System x3650 M40 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
System x3650 M40 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
EXP3524
8
9
16
17
Model GS2S (48 SSD)
EXP3524
8
9
16
17
System x3650 M40 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
System x3650 M40 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
EXP3524
8
9
16
17
EXP3524
8
9
16
17
EXP3524
8
9
16
17
Model GS4S (96 SSD)
Speed
40 GB/s
14 GB/s
26 GB/s
▪ESS 5U84
Storage
▪ESS 5U84
Storage
▪ESS 5U84
Storage
▪ESS 5U84
Storage
38 GB/s
Model GH14S:
1 2U24 Enclosure SSD
4 5U84 Enclosure HDD
334 NL-SAS, 24 SSD
▪ESS 5U84
Storage
▪ESS 5U84
Storage
▪ESS 5U84
Storage
▪ESS 5U84
Storage
40 GB/s
Model GH24S:
2 2U24 Enclosure SSD
4 5U84 Enclosure HDD
334 NL-SAS, 48 SSD

22. IBM Elastic Storage Server (ESS) Family
4U 106 Bay Disk Enclosure

23. Data and AI Forum by IBM
Hyper Converged Data Storage
Spectrum Scale
Erasure Code Edition

24. Spectrum Scale ECE
Erasure Code Edition
Cluster
Network
IB EDR/FDR
SpectrumScaleRAID
Gateway + …
Gateway + …
Gateway + …
Gateway + …
Gateway + …
Gateway + …
Hyper Converged Data Storage
File System +
Network Service
File
System

25. Supported Erasure Codes and Utilization
Protection Type Usable capacity
4-Way Replication 25%
3-Way Replication 33%
4+3P 57%
4+2P 67%
8+3P 73%
8+2P 80%

26. ⚫ HDD 장애 발생전 문제 식별:
✓ Dead disks
✓Connectivity issue
✓Media errors
✓Slow drives
⚫ 장애 예상 또는 발생한 기기를 되살리기 위한 시정조치
시도
✓무응답 드라이브의 전원을 껐다 켜기
✓손상된 데이터 재 계산 및 다시 쓰기
✓Rediscover disk connectivity
⚫ 각 Device의 “health record” 저장
✓Disk에서 지속적인 다량의 오류 로그가 발생하는 경우,
서비스에서 제거한다.
✓Disk가 지속적으로 느려진 경우, 사용에서 제거한다.
Spectrum Scale RAID (ECE) - Disk Hospital
특장점

27. Spectrum Scale ECE - 일반적 구성
Cluster
Network
IB EDR/FDR
10GE or 40GE
Service Network
TOR Switch
Compute NodeErasure Code Edition
※ Cluster Network은 InfiniBand 권장 (Low latency 네트웍 필요)
File
System
Spectrum Scale Client

28. Spectrum Scale ECE – 고성능 I/O 구성
IB EDR/FDR
Cluster + Service
Network
TOR Switch
Erasure Code
Edition
※ Service Network이 InfiniBand인 경우 Cluster Network과 혼용 가능
File
System
Spectrum Scale Client
Compute Node

29. Spectrum Scale ECE – 범용 프로토콜 사용 구성
Cluster
Network
IB EDR/FDR
10GE or 40GE
Service Network
TOR Switch
서버 Cloud
Erasure Code Edition
※ iSCSI는 서버 부팅 OS용에 한정
Protocol Node : NFS, CIFS, FTP, HTTP, Swift, S3, iSCSI 지원
표준 Protocol

30. Data and AI Forum by IBM
초 고성능 고집적 실시간 분석용 Storage
Spectrum Scale
NVME Appliance

31. IBM Flash System 9100의 구조
전면
후면
Controller
Module

32. IBM Spectrum Scale NVMe Appliance의 구조
전면
후면
Controller
Module
Elastic Storage Server

33. IBM Elastic Storage System 3000
인공 지능/딥러닝(AI/DL) 및 고성능 컴퓨팅(HPC) 용
차세대 고성능 All NVMe Flash 스토리지 !

34. ESS 3000 - Specification
구분 내용
파일시스템 IBM Spectrum Scale Version 5 ▶ 컨테이너 방식으로 간편한 설치 및 업데이트 가능
데이터 보호 IBM Spectrum Scale erasure coding
구동 OS Red Hat Enterprise Linux 8.x
프로토콜
POSIX, GPFS, NFS v4.0, SMB v3.0, Hadoop MapReduce, OpenStack Cinder (block), OpenStack
Swift (object), S3 (object) and CSI (Container Storage Interface)
컨트롤러
듀얼 active-active 컨트롤러
2 x Intel 14-core 프로세서
스토리지 NVMe 플래시 드라이브 (1.92TB, 3.84TB, 7.68TB or 15.4TB)
드라이브 수량 12 또는 24 드라이브
메모리 768 GB 또는 1.5 TB (컨트롤러 당 384 or 768 GB)
어탭터
컨트롤러당 3개의 어댑터
Mellanox Connect X5 with Infiniband HDR, 100GBps Ethernet with RoCE support

35. ESS 3000 - Highlights
유연한 적용
모든 유형의 Spectrum
Scale Storage 및 ESS
시스템을 위한 High-
performance tier
Global Namespace
환경에서의 edge data
management
운영 효율성
간편한 설치 및 업데이트
를 위한 컨테이너화 된
소프트웨어
고성능,고밀도 : 2U
system에 40GB/sec 및
370TB
신뢰성
IBM Spectrum Scale
RAID : Erasure coding
빠르고 중단 없는 데이터
Rebuild
주요 하드웨어 구성
요소의 자동 모니터링
빠른 가치 창출
시스템 구성 및 튜닝이
완료된 어플라이언스
설치 및 업그레이드 용이
증가하는 GPU
워크로드에 적합
선형 성능 스케일링

36. ESS3000 - Scale-out 성능 및 용량 증설
1x ESS 3000 236 TiB (usable) 36.2 GB/sec
7x ESS 3000 1651 TiB (usable) 253.4 GB/sec

37. ESS 3000 – 최적의 적용 분야 (AI, ML/DL, HPC 워크로드)

38. NVIDIA DGX System 마케팅 자료 참조

39. Spectrum Scale NMVe Appliance 연결 구성도
6U
900TB
120 GByte/s

40. Spectrum Scale NVMe Appliance 성능 벤치마크 결과

41. GPU utilization의 극대화
ESS3000은
GPU 시스템에
효율적으로
데이터를 제공하여
딥러닝 워크로드에
대해 거의 평균
100 %의 전체 GPU
사용률을 달성 할
수 있도록 합니다.

42. Data and AI Forum by IBM
IBM Spectrum Storage
Spectrum Scale
Appliance 정리

43. ESS ECE NVMe Appliance
• 대용량 + 고성능
• 고성능 아카이빙 (1 Rack
11.8PB + 40GB/s)
• 범용 X86 서버
• TCO 최적화
• Burst Buffer 성능
• 초 고성능 All NVMe
• 40GB/s (300TB) + Scale
Out
Spectrum Scale Appliance
ESS

44. 세미나 정리
IBM Spectrum Storage
AI Data Pipeline Solution

45. Data and AI Forum by IBM
AI Data Pipeline을 최적화하는 IBM 스토리지 솔루션
Spectrum Scale
Cloud Object
Storage
Cloud Object
Storage
Elastic
Storage Server
Elastic
Storage Server
Elastic
Storage Server
Transient Storage
Global Ingest
Fast Ingest /
Real-time Analytics Archive
Spectrum
Archive
Hadoop / Spark
Data Lakes
Data In
Insights Out
INSIGHTSANALYZE / TRAININGESTEDGE
CLASSIFY /
TRANSFORM
SSD
SDS/Cloud
Cloud
SSD/Hybrid
Hybrid/HDD
TapeHDD Cloud
Trained Model
SSD/NVMe
ML / DL
Prep Training Inference
Spectrum Discover Elastic
Storage Server
Cloud Object
Storage
Elastic
Storage Server
ETL/ Data Processing
Classification &
Metadata Tagging
Inference
Data Pipeline 최적화를 통한 AI Cluster 생산성 극대화

46. IBM Elastic Storage System 3000
인공 지능/딥러닝(AI/DL) 및 고성능 컴퓨팅(HPC) 용
차세대 고성능 All NVMe Flash 스토리지 !

47. 감사합니다.
전상호 실장
File & Object Solution Sales
Software Defined Storage Team
IBM Korea