1. 2nd Open Cloud, Open Standard Seminar
Open Source, Open Cloud Engine
Open Cloud Engine Initiative
JY Jang, James Ahn, BG Kim
www.opencloudengine.org
12. Open Cloud Engine
• Open Source PaaS Project
• Develop, Manage & Monetize Future
Application
– Open Source, Open Standard
– Focused on Business Applications
– Full Software Stack For PaaS
– Simple. Easy of Use
13. Approach – Standard Model
•
Forrester‟s PaaS Reference Architecture Compliant Open PaaS
인프라 사용의
가상화
플랫폼 서비스
(비즈니스) 의
기반 제공
가입자의 셀프
서비스
• 개발자가 IaaS 핸들링을 할 줄 몰라도 추상화
된 API만으로 클라우드 앱을 개발 할 수 있다.
• 개발자별 개발 환경서버의 설정이 없이도 곧
바로 개발이 가능하다.
• 멀티태넌시 (다중 가입자) – 싱글 인스턴스에
대한 기반 프레임워크가 제공된다.
• 빅데이터, N-Screen 및 모바일 개발을 위한
SW 인프라도 제공해준다.
• 앱의 게시(광고), (퍼블릭인 경우) 가격책정,
계약(SLA체결), 빌링, SaaS ALM 통한 형상관
리, 테스팅, 디플로이(빌드) 자동화, 프로비저닝
자동화 등을 제공하여 제공자가 쉽게 단일 통합
아키텍처상에서 앱을 제공하고 성과를 측정할
수 있다.
• 앱의 취득(구매), 사용자 (조직도)관리, SaaS
앱의 오케스트래이션 커스터마이징, 레거시와
의 통합설정, 데이터 통합, 메타데이터 설정 (브
랜드 등) 을 가입자가 직접 수행할 수 있다.
14. Members are…
•
•
MHR
•
•
SW Dev. & Modeling Tool Expert
Garuda Main Contributor
•
•
Big Data Expert
Flamingo Main Contributor
Open Stack Expert
Netra Main Contributor
•
SW Eng. Tool Expert
•
Database Expert
18. What Garuda Provides
Cloud IDE /
SaaS
migrator
Dev
Portal
Developers
(Providers)
Model
Platform
(BPM/BRE/B
I)
eGov
Framework
SelfService
Portal
Users
(Tenants)
App Store
SaaS Security / Multi-tenancy Framework
Metering / Billing
WAS (Tomcat Extension)
19. Development Process using Garuda
제공자-운영자-소비자가 참여하여 개발~앱스토어까지의 생태계 사이클을
참여자가 IaaS의 직접적인 핸들링 없이 지원
모델링 &
피드백
개발
웹에서 개발
아키텍트
모델링
표준
프레임워크
개발
커뮤니티
앱스토어
셀프서비스
개발자
취득 &
클라우드
커스터마
테스트
이징
운영자
게시
가입자
(이미지)
빌드
20. eGov Framework based Garuda IDE
표준 프레임워크 (이클립스) 기반의 개발 / 디버깅 / 개발자 협업 도구:
기존 표준 프레임워크
(eGov Frmwk)의 확
장 플러그인으
• 기존 표준 프레임워크
기반에서 개발한 제품을
클라우드 전환 용이
• 표준 프레임워크의 다양
한 개발 지원 도구 재사
용
개발자 지원 도구
• 마켓플레이스, ALM접
근
• 워크리스트 컨셉
데이터 전자정부 1위
브랜드 밸류
• 해외시장 접근 전략
New Open Cloud Engine Server
22. Garuda Demo
• E-Gov Framework based Development
• Migrating Existing Open Source Software
„Alfresco‟ into Garuda and making it Multitenancy Supported
23. What Flamingo Provides
Hadoop
Map-Reduce
Designer
Cloud IDE /
SaaS
migrator
Developers
(Providers)
Dev
Portal
Model
Platform
(BPM/BRE/B
I)
HDFS
Manager
eGov
Framework
Hadoop
Dashboard
SelfService
Portal
App Store
SaaS Security / Multi-tenancy Framework
Metering / Billing
WAS (Tomcat Extension)
Hadoop
Scheduler
Users
(Tenants)
24. Flamingo Big Data Platform
빅데이터 분석 플로우 설계 및 실행, HDFS 관리, 배치 스케줄링
MapReduce 기반 협업 필터링 알고리즘
MapReduce
Designer
• 웹 브라우저 기반 도구
• Hadoop의
MapReduce 지원
• 빅데이터 분석 모듈 연
계 동작 지원
• DAG(Directly Acyclic
Graph) 기반 그래프 엔
진 탑재(OpenGraph)
• 워크플로우 관리
• 워크플로우 실행
MapReduce 전처리
• 재사용 가능한
MapReduce 기반 전
처리 모듈
• Clean, Group By,
Filter, Replace,
Generate, Union,
Rank 등등 지원
협업 필터링 알고리즘을 드래그 앤 드
롭
더블클릭 후 협업 필터링 파라미터 설
정
Pig Script 편집기를 이용하여 Pig Script를 작성 (예시)
25. Flamingo Big Data Platform
빅데이터 분석 플로우 설계 및 실행, HDFS 관리, 배치 스케줄링
HDFS 브라우저
• Hadoop의 HDFS를 윈도
의 익스플로러 스타일로
관리
• 파일 및 디렉토리 관리
• 업로드 및 다운로드
작업 스케줄링
• MapReduce Designer의
분석 플로우를 배치 작업
행태로 스케줄링
• Scale Out 형태의 클러스
터링 기반 스케줄러로 대
용량 배치의 분산 처리
• Cron Expression 지원
• 배치 작업의 생명 주기 관
리
대쉬보드
분석 플로우 실행 이력을 모니
터링하는 대쉬보드
분산 파일 시스템
(HDFS) 관리를 위한
HDFS 브라우저
• MapReduce Designer에
서 설계한 분석 워크플로
우의 실행 이력 모니터링
• 워크플로우, 액션 단위의
모니터링
▼ 분석 워크플로우의 배치 스케줄링을 위한 작업 스케줄링
35. New Flamingo
• 수치 데이터 기초 통계 (9종) 산출
• 범주 데이터 기초 통계 (2종) 산출
• 수치/범주 데이터 기초 통계 분석
• 수치 데이터 확신도 기반 합계 산출
• 데이터 전처리(정규화) 분석
• 수치 데이터 Min/Max 기반 정규화 변환
• 이진 벡터 데이터 기반 유사/상관 분석
• 특징 벡터 기반 데이터 유사/상관 분석
• 수치 벡터 데이터 기반 유사/상관 분석
• 문자열 데이터 유사/상관 분석
• K-Means 기반 군집 분석 (수치/범주 데이터)
• 마이닝/기계학습 기반 분석 개발
• EM 기반 군집 분석 (수치 데이터)
• ID3 기반 분류 분석 (범주 데이터)
• CF 기반 사용자/아이템 유사도 계산 개발
• 내용 기반 아이템 유사도 계산 모듈 개발
• 실무 서비스 기반 분석 컴포넌트 개발
• 사용자 유사 기반 추천 생성 모듈 개발
• 아이템 유사 기반 추천 생성 모듈 개발
36. Flamingo Roadmap
구분
License
특징
• Apache License (Workflow Engine & Log Collector)
• GPL License (User Interface)
•
•
•
•
•
•
•
•
•
•
•
Log Collector UI
Workflow Engine Integration
Pig Editor (편집/실행/저장/로그)
Hive Editor (편집/실행/저장/로그)
Hive Metastore Browser
Hcatalog Integration
Workflow Engine 고도화
Workflow Designer 통합
HDFS Browser
Remote Workflow Engine
Redesign
Sprint 3/4
•
•
•
•
•
•
•
•
•
Job Management UI 고도화
Log Collector UI 고도화
각종 History UI 추가
Ankus Integration
Mahout Integration
Data Visualization (초기 모형)
Workflow Engine 고도화
Hadoop/Workflow Engine Admin
Amazon S3/Local File System Browser
Sprint 5/6
•
•
•
•
QA Test
Ambari integration & Dashboard
User Guide
English/Korean Localization
Sprint 1/2
비고
• 11월 말
• 기 개발된 모듈을 새로운 아키텍
처로 통합하고
• 새로운 기능 추가
• 12월 말
• 알고리즘 추가
• Flamingo 1.0 Alpha 릴리즈
• 릴리즈를 위한 각종 관리
• 12월 말
40. BTW, How about Infra for Legacy
Apps. and Extensions ?
• Embedded Platforms – Garuda and Flamingo
• Extension Platforms (Middleware such as DBMS,
memory cache)
• And many of Open Source Applications out there
• Are needed to be hosted on top of an IaaS
41. Our New Project : Netra
Building Infrastructure
for
developer & operator
42. Netra
1. 100+ Open Sources Template
2. Full Software Provisioning
3. Deployment
43. 100+ Open Sources Template
100+ great open sources at your fingertip
Just Click to provision
44. Full Software Stack Provisioning
Netra DSL Template
Computing
Resource
Software Stack
Template "build-essential" do
action :install
end
directory node[:redis][:data_dir] do
owner "redis"
mode "0755"
action :create
end
Web
Server
Server
remote_file "#{Chef::Config[:file__path]}/" do
source "https://github.com/v2.0.4-stable"
action :create_if_missing
end
bash "compile_redis_source" do
cwd Chef::Config[:file_cache_path]
code <<-EOH
tar zxf redis.tar.gz
cd antirez-redis-55479a7
make && make install
EOH
include templateA
end
App
Server
Load
Balancer
Web
Server
Storage
Cache
Server
Database
Server
Network
56. Reference: GSA‟s G-PaaS
Issue
•
Vision: Government PaaS savings are achieved in license
consolidation, reduced maintenance and enterprise process
improvement.
57. Case: KIAT‟s R&D Cloud
IT 운영
운영자 포탈
표준 프레임
워크 개발 환
경
샌드박스
마켓플레이스
형상관리서버
(SVN/Git)
빌드서버
(Jenkins)
모델서버
(메타데이터 서버)
IT 개발 부서
R&D Cloud PaaS
프로세스 엔진 (uEngine BPM)
엔진부
(개발, 배포, VM생성, Scale-out, 소멸 프로세스)
개발자 포
탈
Apache DeltaCloud /JCloud
다종 IaaS :
개발기 인스턴스
(IaaS 접근 추상화)
엔키아 / 오픈스택*
템플
릿
운영기 인스턴스
가입자 포
탈
(임차)
사용기관
58. Roadmap to Open Standard
기술관점
전략관점
기대효과
표준 프레임워크의 클라우드-Enabling
• IaaS 노하우 없이 멀티태넌시 애플리케이션을 만들 수 있다.
Yr. 1
국산/공개우선의
• 표준 프레임워크의 개발 프로세스
클라우드 스택화
외산 플랫폼의 위협 방어
• 마켓플레이스 제공
컴포넌트-애즈-어-서비스
• 표준 프레임워크의 공통 컴포넌트들을 오픈-API (SOA) 로
Yr. 2
매시업할 수 있도록함
• 셀프서비스 포탈에서 모델링/GUI도구를 통하여 현업이
한국대표 오픈 소스 프로잭트
국내 클라우드 기술의 보편화
공공/민간 스마트 오피스
공공 표준 클라우드
시나리오 커버리지
플랫폼으로의 혁신의 기회
도입기관 각자의 프로세스, 비즈니스 룰을 관리
QoS & 인터-클라우드
Yr. 3
• 클라우드 운영을 위한 SLA 준수, 보안
• 애플리케이션들을 융합하여 새로운 조합서비스가
가능하다(*CSB)
• 가입기관별 공통영역 (공통 라이브러리, 공통 기능)이
중복없이 운영된다
59. Vision: Virtual Enterprise Enabler
• Cloud computing –
Global Single Instance
Technology
• SNS, Smart Phone, LBS
• Video (audio) conference
• BPM
Security
• VPN, encryption of data,
restrictions on email
• Secured collaborative
environments
• leadership provides direction, guidan
ce, support, recognition
• Set clear expectations
People
• Keep lines of communications open
• Develop a culture of flexibility
• Provide necessary feedback and
support
60. Activity Plan
• First Official Release : 20 Nov, 2013
– 릴리즈 기념 행사
•
•
•
•
제목: “클라우드 컴퓨팅과 비즈니스 프로세스 인텔리젼스”
장소: 대우 푸르지오 밸리 (선릉) 11월 20일 12시~저녁 6시
참가신청: www.opencloudengine.org
내용: 제품소개 및 체험 행사
• Open User Meeting & Design Summit
– 정식 릴리즈 이후 매월 2~3회 계획
– 사용자 의견 수렴 및 아키텍트 들과의 공동 설계
• Committer Meeting
– 현재 매주 수요일 오픈 클라우드 엔진 센터 (선릉/역삼)에서
진행중 (커미터 참가 환영)
61. Resources
• Official Web Site:
www.opencloudengine.org
• Wiki:
http://wiki.opencloudengine.org/
• Jira Issue Tracker:
http://jira.opencloudengine.org/
www.facebook.com/groups/opence