http://sdec.kr/

2. S/W 기반의 고속 파일 전송 플랫폼
(Rapidant)
rapidant@samsung.com
2011.6.
Copyright ⓒ 2010 Samsung SDS Co., Ltd. All rights reserved

3. 고속 파일 전송 플랫폼?

4. 우리집 인터넷은 광케이블이라서
100Mbps 속도가 나옦다는데…
100Mbps는 1초에 약 12MB 파일을 다운받는 속도

5. 실제적인 전송 속도가 3.77 MB/sec 밖에
나오지 않는다면 ?

6. 도대체 왜 전송속도가
안 나옧까요 ?

7. 뭐가 문제길래?
- 서버 과부하

8. 뭐가 문제길래?
- 서버 과부하
- 네트워크 대역폭 모두 소모

9. 뭐가 문제길래?
- 서버 과부하
- 네트워크 대역폭 모두 소모
- TCP/IP 프로토콜 때문에

10. 레퍼런스: Aspera
TCP 프로토콜은 RTT 와 Packet Loss 가 큰 원격지갂의 통싞에 있어서
상대적으로 좋지 않은 성능을 보인다
※ RTT (Round Trip Time)

11. TCP가 왜?
- AIMD
(Additive Increase /
Multiplicative Decrease)

12. Congestion Control
A
Congestion Control
Internet
B D
Congestion Control
C

13. 이를 해결하기 위한 기존 방법들
- 하드웨어 기반 WAN 가속기
- 커널 내 FastTCP 탑재
- CDN망 임대
- 전용선 구축

15. 기존방법 특징 장점 단점
하드웨어 기반 하드웨어 기반 가속 데이터 설치비용이 높음
WAN 가속기 웹 가속 Deduplication Cache되지 않는 컨텐츠
웹 가속 에 대해서는 가속성능이
떨어짐
커널 내 FastTCP 커널 자체에 대한 수정 TCP friendly 지원되는 않는 장비(서
탑재 버,클라이언트) 에 대한
전면교체 비용이듬
CDN망 임대 각 거점별 edge서버를 거점별 서버를 고가 이며
두고 컨텐츠 분배 통한 물리적인 주로 Cache된 컨텐츠를
전송시갂 단축 대상으로 함
전용선 구축 전송 양단갂에 전용망 전용망에 따른 고가
구축 상대적인 망 안 실제가용 대역폭을 못쓰
정성 는 문제는 그대로 존재

16. 우리의 접근
- 네트워크 구축 비용이 없도록!
- 하드웨어 구입 비용이 없도록!
- OS 커널 수정 등 설치 비용이 없도록!
- 비용을 최소화 해보자!

17. S/W 기반의 고속 파일
전송 플랫폼(Rapidant)

18. Hardware based accelerator
Internet
No Hardware !!

19. - 플랫폼 비종속적인 전송 프로토콜 추구

20. Parallel TCP
- 데이터 전송에 하나의 TCP채널이 아닌, 다
수의 채널을 동시에 사용해 전송률을 높임
W/2 W/(2N)
컵 : 사용할 있는 최대 네트워크 대역폭
빨대 1개 : 하나의 TCP채널을 사용할 때의 모습

21. Parallel TCP
Single Channel TCP(기존방식) Parallel TCP
Sender Receiver Sender Receiver
- 데이터 전송 시 단일 채널 사용 - 데이터 전송 시 다중 채널 사용
- 원거리 네트워크 상황 - 원거리 네트워크 상황
(RTT 大, Packet Loss 大) 에서 TCP 고유 (RTT 大, Packet Loss 大) 에서 혼잡
의 혼잡제어 알고리즘 에 의해 혼잡 발생시 전송속도를 줄이는 비율이
발생시 현재 전송 버퍼 N개의 다중채널일 경우 1/(2N) 이
(Congestion Window) 의 ½ 씩 전송용량 되어서 상대적으로 기존방식에 비해
을 줄임 네트워크 혼잡 발생시 전송데이터를
-따라서, 전송용량(Throughput)이 줄이는 비율이 낮음
실제 가용 전송 대역폭 대비 홗용을 다 - 따라서, 전송용량(Throughput)이
못함 실제 가용 전송 대역폭을 다 쓸 수 있게
가능함

22. Reliable UDP
- 데이터 싞뢰성 및 혼잡 회피(Congestion
Control) 없는 UDP에 데이터 싞뢰성 추가
및 고속 전송을 가능한 혼잡회피 알고리즘
으로 직접 구현

23. Reliable UDP
- 데이터 전송 싞뢰성 제공
: 유실된 패킷의 재전송 기능을 가짐.
(UDP는 기본적으로 유실 패킷에 대한 고려 없음)
- Rate-based 전송 제어 알고리즘 사용
: 네트워크 상황에 따라 유동적으로 전송률을 제어함.
(네트워크 혼잡을 피하는 동시에, 대역폭을 효율적으로 사용하게 함.)
: TCP 의 고유 혼잡제어 알고리즘을 따르지 않으므로 자유로운
전송 율 제어 가능
- Fairness 고려
: 전송 대역폭을 공유하는 트래픽갂의 fairness를 고려함.
(여러 트래픽이 동시에 서비스하는 상용망에 적용 가능)

24. Parallel TCP Reliable UDP
- 기본적은 혼잡제어 알고리즘으로 AIMD - TCP 방식에 비해 세밀한 혼잡제어 가능
를 사용하므로 상대적으로 UDP에
비해서는 TCP Friendly 함 -병렬 연결이 아니므로 상대적으로 Parallel
(상대 TCP 트래픽 전송을 가능한 범위 TCP 홖경에 비해 메모리 사용량 적음
내 보장)
-UDP 고유의 특성으로 인해 상대적으로
-TCP 기반이므로 HTTP 등을 통해 상대적 상대 TCP 트래픽에 대해 좀더 Aggressive함
으로 방화벽 통과에 유리 (상대 TCP 트래픽을 패킷 손실 시키는
확률이 큼)
-UDP 방식에 비해 세밀한 혼잡제어 메커니
즘을 구현하기 힘듬 -일반적인 조건에서 TCP에 비해 빠름
(단, 네트워크 홖경에 따라 달라질 수 있음)
-일반적인 조건에서 UDP에 비해 느림
(단, 네트워크 홖경에 따라 달라질 수 있음) - 방화벽 통과에 상대적으로 불리

25. 정말 S/W만 설치하면 전송
속도가 빨라질까 ?

26. 관련 기술 동향
상용 솔루션
- Aspera
-후지쯔 BI.DAN-GUN
오픈소스 프로젝트
- UDT4
- RBUDP
- FDT
- GridFTP

27. Congestion Control
Queuing Delay based
RTT의 상태변화를 통해 Congestion 과
Bottleneck 큐 사이즈의 변화를 예측하여 패킷 전
송조절을 하는 방법
Packet Loss based
전송 패킷 손실을 Congestion여부에 대한 지표로
삼고 패킷 전송을 조절하는 방법

28. 각 솔루션 별 비교
솔루션 명 전송방식 혼잡제어 비고
Aspera UDP Queuing Delay 네트워크 Fairness고
려
UDT4 UDP Packet Loss TCP의 혼잡제어 매
커니즘 사용
RBUDP UDP N/A 네트워크 Fairness
고려 안함
GridFTP TCP Parallel TCP 네트워크 Fairness
TCP알고리즘 따름
Rapidant UDP, TCP Packet Loss 네트워크 Fairness
Parallel TCP 고려, 플랫폼 독립적
설계

29. 영화 Avatar 원본 영상 전송
FTP 대비 최대 전송속도 차이 30배
용량 : 2TB
FTP : 0.187MB/s (131 days)
Aspera : 5.6MB/s (4 days)
Aspera

30. High Energy Physics Experiment
1테라 바이트 전송에 FTP로
9주
Cern, 스위스
용량 : 1TB
FTP : 0.195MB/s (62 days)
GridFTP : 6MB/s (2 days) GridFTP

31. 유전자 분석 데이터
인당 800기가 바이트
해외 lab
용량 : 1TB
FTP : 1.82MB/s (6.6일)
Rapidant : 9.74MB/s (1.2일) Rapidant

32. S/W기반 고속전송이 쓰일 수
있는 영역은 어디인가요?

33. Digital Media
-Broadcast & Entertainment Media
-Multimedia Publishing
Game & Software Development
-Global Software Development
-Rapid Game Development
Cloud Computing
-Content Aggregation, Distribution
-Database Hosting
Global Enterprise
-Data Processing Outsourcing
-High Speed Remote Backups
-Digital Asset Distribution
Life Sciences
Intelligence & Defense

34. Rapidant 성능은 어떨까요?

35. 실험 홖경
-WAN 시뮬레이터
(Packet Loss: 0.1%, 1.0%, 5%
RTT: 100 ms, 300 ms, 100MB파일)
-실 홖경 테스트
(아셈사옥 -> 미국 North Virginia 아
마존 EC2, 100MB, 1G 파일)

36. 프로토콜별 전송성능 비교 [WAN Simulator : RTT 100ms, 100MB 파일]
3,311초
FTP 1,234초
423초
681초
UDT 203초
56초
Packet loss
19초
ASPERA 32초 5%
55초 1%
0.1%
206초
Rapidant-TCP 78초
50초
18초
Rapidant-UDP 16초
13초
0 500 1000 1500 2000 2500 3000 3500 시간(초)

37. 프로토콜별 전송성능 비교 [WAN Simulator : RTT 300ms, 100MB파일]
8,925초
FTP 3,482초
1,338초
1,173초
UDT 291초
59초
Packet loss
25초
ASPERA 22초 5%
48초 1%
383초 0.1%
Rapidant-TCP 225초
74초
35초
Rapidant-UDP 29초
63초
0 2000 4000 6000 8000 10000 시간(초)

38. 프로토콜별 전송성능 비교 [아셈타워->EC2 : RTT 240ms]
1,028초
FTP
99초
500초
Aspera
52초 전송용량
1GB
553초 100MB
Rapidant-UDP
57초
130초
Rapidant-TCP
20초
0 200 400 600 800 1,000 1,200 시간(초)
Seoul, Korea Rep. to North Virginia, US. ( RTT : 240ms )

39. 래피던트 TCP Architecture

40. 래피던트 적용 예
WAN 구간 가속
Edge Server
Edge Server
HDFS
HDFS
Contents Server
Contents Server
…
…

41. 패키지 솔루션 방식
서버 서버
S/W 설치
서버
PC
레거시 시스템 인터페이스 방식
래피던트 모듈 S/W연동(Open API)

42. DEMO동영상
FTP / Rapidant 100MB 파일 전송 속도 비교
(코엑스 아셈타워-> 미국 North Virginia 전송 )

43. 감사합니다
rapidant@samsung.com