[2018 Bigdata win-win conference] 인공지능-빅데이터연구센터 서버 장비 구축 현황 발표자: 노재춘 (세종대학교 교수)

1. 대용량 데이터 초고속 처리
장비연구 인프라 구축
노 재 춘
2018년 11월 22일

2. 1차년도 연구내용(1)
0
100
200
300
400
500
600
1K 2K 4K 8K 16K 32K 64K 128K 256K 512K 1M 2M 3M 4M
Sequential Read
국산 서버 A
외산 서버 A
외산 서버 B
외산 서버 C
0
100
200
300
400
500
600
1K 2K 4K 8K 16K 32K 64K 128K 256K 512K 1M 2M 3M 4M
Sequential Write
국산 서버 A
외산 서버 A
외산 서버 B
외산 서버 C

3. 1차년도 연구내용(2)
0
50
100
150
200
250
300
1K 2K 4K 8K 16K 32K 64K 128K 256K 512K 1M 2M 3M 4M
Random Read
국산 서버 A
외산 서버 A
외산 서버 B
외산 서버 C
0
50
100
150
200
1K 2K 4K 8K 16K 32K 64K 128K 256K 512K 1M 2M 3M 4M
Random Write
국산 서버 A
외산 서버 A
외산 서버 B
외산 서버 C

4. 2차년도 연구내용(1)
• 굿모닝아이텍 15대
- 1차년도 1차 6대
- 1차년도 2차 3대
- 2차년도 저사양 3대
- 2차년도 고사양 3대
• 아몬드소프트 1대
- 1차년도 1차 1대
- VM 5대
• 레드테이블 1대
- 1차년도 1차 1대
- VM 3대
• 전자부품연구원 1대
- 1차년도 1차 1대
• 애드잇 3대
- 1차년도 1차 1대
- 1차년도 2차 2대
• CMI코리아 5대
- 1차년도 1차 1대
- 1차년도 2차 4대

5. 2차년도 연구내용(2)
어플리케이션 캐시 구조도 캐시 통신 로그

6. 2차년도 연구내용(3)
실시간 통합 모니터링 구조도 인터페이스 화면

7. 3차년도 연구내용(1)
 클라우드 및 웹 서비
스를 위한 네트워크
분리
- ANY IP 접근 가능
- 보안성 향상
- 트래픽 분산
3차년도 네트워크 구성도

8. 3차년도 연구내용(2)
가상화 환경 지원을 위한 모니터링 시스템 구축
 virt-manager를 통한 자원 사용 현황
 가상머신의 자원 사용률을 실시간으로
확인이 가능 함
 KVM 기반의 로그 수집기 개발
 휘발성인 virt-manager의 사용률을 수집
하여 과거 이력으로 저장함
 이를 통해 가상머신의 사용률을 통계와
예측이 가능함

9. 3차년도 연구내용(3)
예) 비즈머스 솔루션 설치 및 분산처리 기술 지원
 임대 서버 6대
 장비 관리 지원 내용
‒ 방화벽 정책 수립
‒ 서버 정기 점검
 기술 지원 지원 내용
‒ 빅데이터 플랫폼 설치 (하둡 및 스파크)
‒ 시스템 기술 지원 (OS 및 RAID)
‒ 네트워크 정책 수립 (vLan)
 호튼웍스 데이터 플랫폼을 통한 빅데이터 처
리 환경 구축
‒ Hadoop, Spark, Hive, Pig, Sqoop,
HBase … 지원
‒ GUI 환경의 웹 콘솔 제공
‒ 실시간 자원 모니터링

10. 4차년도 연구내용(1)
 네트워크 장비 이중화 아키텍처 설계
 L2 및 L3 장비를 이용하여 네트워크 이중화
아키텍처 설계. Active/Stand-by 네트워크 환
경 적용
 All-Layer 네트워크 장비 이중화 테스트
 각 네트워크 계층 별 이중화 테스트 진행
 백본 네트워크
1. 분리된 네트워크 회선
2. DDoS 방화벽
3. 메인 방화벽
 IDC & 웹 서비스 네트워크
1. L3 스위치 영역
2. L2 스위치 영역

11. 4차년도 연구내용(2)
 10G 네트워크 기반의 서비스 지원 환경 구축
 기업 지원을 위해 10G 기반의 네트워크 성능 테스트를 수행함
 OS의 패키지 설치와 가상화 환경 및 빅데이터 플랫폼 환경에서 성능 테스트를 진행함
503.077
1083.377
259.975
668.374
0
200
400
600
800
1000
1200
DFSIO-write 50GB DFSIO-write 100GB
HDFS - Write Test
1G 10G
Time(sec.)

12. 4차년도 연구내용(3)

13. 5차년도 연구내용(1)
5차년도 네트워크 구성 (이중화 구성 완료) 서버 및 보안 장비 현황
서버
및 보안
장비
서버 종류 대수
교육용 서버 10대
기업용 서버 108대
GPU 서버 12대
SSD 서버 4대
보안장비
Web F/W 2대
DDos F/W 2대
DDos Mgnt 1대
Main F/W 2대
Main F/W LogAnalyzer 1대

14. 5차년도 연구내용(2)
15개 기업에 총66대(물리머신 50대, 가상머신 16대) 서버 지원
기업 대수
위세아이텍 2
IOA솔루션 1
유나이트플러그 1
공훈 1
인라이플 1
두물머리 3
호현에프앤씨 2
비즈니스온커뮤니케이션(가상 머신 3대) 12
기업 대수
SC플랫폼(가상 머신 5대) 29
시엠아이코리아 1
아몬드소프트 5
모비젠(가상 머신 2대) 2
와이즈넛(가상 머신 1대) 1
차후(가상 머신 2대) 2
알티베이스(가상 머신 3대) 3

15. 5차년도 연구내용(3)
서버 모니터링 시스템(ESM) 대시보드 장애 발생 & 사용량 측정