- SNS 서비스의 빅데이터 요구 사항 - 캐시, 샤딩, 메시지큐 등 아키텍처 적용 사례

1. © 2013 Gruter. All rights reserved.
SNS 서비스 구축 사례
2013.08.29
장정식 수석 연구원

2. © 2013 Gruter. All rights reserved.2
Contents
• SNS: architectural considerations
– Distributed DB
– Cache Cluster
– Distributed Queue Workers

3. © 2013 Gruter. All rights reserved.3
SNS – Key architectural considerations
• 확장
- 데이터 증가
- 관계 증가
• 관리
- 데이터 re-balancing
- 복잡도 증가; 수작업 관리 불가
• 성능
- decent 저장소 성능
- read intensive (캐시)
- asynchronous processing (큐)

4. © 2013 Gruter. All rights reserved.4
Distributed DB (code name: trotter)
• MySQL 기반의 sharding
• Shard master (meta), shard 데이터 DB로 구성
• 아키텍처 검증 테스트: vs. MongoDB vs. HBase
– decent 성능
– 안정성
– 운영/관리 편의
– 다양한 지원 library

5. © 2013 Gruter. All rights reserved.5
Distributed DB

6. © 2013 Gruter. All rights reserved.6
Cache cluster (code name: chamber)
• memcached, redis 기반의 캐시 클러스터
• 캐시 proxy client; connection관리, consistent hashing
• zookeeper 기반 membership 관리
• 원본 메세지, 타임라인, shard meta info

7. © 2013 Gruter. All rights reserved.7
Distributed Queue Workers
• Zookeeper 기반의 producer/consumer
• 작업 내용별 worker daemon
• 메세지 전파/삭제, 문서 프로세싱
Work queue/coordinator
Zookeeper
Application
work producer
work producer
Task
spec
Worker node
docproc. worker
Worker node
propa. worker
.
.
.
propa. worker
docproc. worker
.
.
.
T T
T T
T
T

8. GRUTER: YOUR PARTNER
IN THE BIG DATA REVOLUTION
Phone +82-70-8129-2950
Fax +82-70-8129-2952
E-mail contact@gruter.com
Web www.gruter.com
© 2013 Gruter. All rights reserved.
Gruter, Inc.
5F Sehwa Office Building 889-70 Daechi-dong, Gangnam-gu, Seoul, South Korea 135-839