Realtime MULTIVERSE Interaction Project

1. 지식경제부 전략기술개발사업(과제번호:10032132)의 위탁과제
-고정형 (실내) 혼합현실 시스템을 통한 실시간 멀티버스 인터랙션 기술 개발
김종현(Kim, Jong-Hyoun)
계원디자인예술대학 게임웨어과 교수
Multiverse Interaction
TIME
Tangible
Indistinguishable
Mutually understandable
Extractive

2. 과제수행계획서 2009/11
1. 개요
공간 혁명의 한 축인 가상공간의 확대는 경제, 사회, 문화 전반에 걸쳐 새로운 지평을 확장하고 있다. 토
니스콧 감독의 2007년 영화 데자뷰 에서 다루었던 평행우주(수없이 나눠진 우주 속에 지금의 또 다른
내가 하나씩 다 존재하고 있다는 것)의 첫 사례가 가상공간에서 적용될 가능성이 높아지고 있다. 소위
multiverse 세상이 도래하고 있는 것이다. 인간은 다수의 가상세계와 유일한 현실세계가 공존하는 확장세
계에서 살아가야 한다. 세계간의 간극을 제거하고 하나의 공간으로 seamless하게 만드는 매개체로 AR 기 2
술이 적용될 수 있다. 현실세계와 동일한 방법으로 가상세계에 접근할 수 있는 인터페이스로 Tangible
User Interface(TUI)가 적극적으로 응용될 수 있다. AR과 TUI는 세계간의 접점에 위치되어 가상의 오브
제를 현실로 가져오며 역으로 현실의 오브제를 가상으로 투영한다. 객체와의 seamless 상호작용을 제공하 M
는 TUI와 공간적으로 seamless 표현을 제공하는 AR의 특성을 융합하는 TAR 인터페이스는 다음과 같은 U
TUI 설계 원칙을 준용한다. L
T
가상 콘텐츠를 조작할 실질 콘트롤러의 이용 I
공간에서의 3D 상호작용 기법의 지원
V
시간 및 공간상의 동시적(simultaneous) 상호작용
요구되는 기능과 의도적으로 제작된 객체와의 일치
E
다중 참여자의 협업 허용
R
다중 손(multi-handed) 상호작용의 지원
S
다중 객체의 병렬 행위의 지원 E
본 과제는 현실 및 가상세계 상호 인터랙션을 위한 제반 기술을 연구 개발한다. TAR 인터페이스를 지향 I
하는 본 연구는 공존 세계의 원활한 상호 인터랙션을 위해 다음의 4가지 조건을 전제한다. 본 과제가 개 N
발하고자 하는 멀티버스 인터랙션 기술은 (본인이 명명한) TIME(Tangible, Indistinguishable, Mutually T
understandable, Extractive)을 충족해야 한다. E
R
1. Tangible : 인간과 가상 또는 실질 오브제와의 상호 인터랙션을 위한 매개체는 현실에서의 그 수단이
동일(또는 유사)해야 하며 그 매개체는 만져서(또는 다른 감각을 통해) 느낄 수 있는 실체적(또는 그
A
렇다고 인지할 수 있는) 수단이어야 한다.
C
2. Indistinguishable : 현실로 투영되는 가상의 오브제는 현실의 그것과 이질적으로 보이지 않도록 모양,
T
움직임, 색상 등이 자연스러워야 한다. 그것은 3D 형태로 존재하며 인간의 시각과의 거리, 높이, 방향 I
등에 따라 다르게 보여야 한다. O
3. Mutually understandable : 현실세계에 투영된 가상의 오브제는 인간과 상호 대화하고 서로의 행동을 N
이해할 수 있어야 한다. 상호 이해를 위한 프로토콜 및 인터페이스가 제공되어야 한다.
4. Extractive : 가상세계의 임의의 오브제는 개체별로 선택, 추출되어 현실세계로 이동 가능해야 한다.
이동된 오브제는 가상세계에서의 행동 및 모습과 동일한 행태를 가져야 한다.

3. 과제수행계획서 2009/11
2. 과제 목표 및 일정
과제 목표
본 연구는, 실내 환경에서, 가상세계의 임의의 오브제를 선택, 추출하여 그 객체를 현실에 투영하고
그 객체와 의사소통하여 그 결과를 실시간으로 가상세계에 반영할 수 있는 멀티버스 인터랙션 기술 3
및 인터페이스를 개발하는 것을 목표로 한다.
과제 목표의 효과적 달성을 위한 주요 과제 내용은 다음과 같다. M
U
1. 개발할 인터랙션 기술을 효과적으로 표현하고 테스트할 3D 기반 소규모 게임의 기획, 디자인, 구현(12 L
개월) T
2. 가상 오브제의 선택, 추출, 투영 및 투영 개체와의 대화를 위한 Tangible 인터페이스 및 프로토콜의 I
설계제작(6개월) V
3. Marker 기반 개체 투영 기술 개발(13개월)
4. Finger silhouette 인식 및 hand gesture tracking 기술 구현(13개월)
E
5. 개발 기술의 주관 기관 구현 플랫폼에의 이식 및 통합(3개월)
R
S
E
구분 개발 내용 개발 범위
게임 시나리오 작성 및 기획
개발할 인터랙션 기술을 효과적으로 표현 배경 및 캐릭터 스케치
I
제 1 개발 하고 테스트할 3D 기반 소규모 게임의 기 배경 및 캐릭터 3D 모델링 N
획, 디자인, 구현 게임 프로그래밍 구현
T
개발 2,3,4와의 통합
가상 오브제의 선택, 추출, 투영 및 투영 E
가상 오브제 선택 및 투영 프로토콜 정의/설계
개체와의 대화를 위한 Tangible 인터페이
투영 개체와의 대화 프로토콜 정의/설계
제 2 개발 R
스 및 프로토콜의 설계
ARTookit 및 OSGART 코드 분석 A
마커 디자인 및 제작 C
마커 인식 알고리즘 구현
Marker 기반 개체 투영 기술 개발
개체 Registration 알고리즘 구현
제 3 개발 T
개체 Calibration 알고리즘 구현 I
개발 2 결과 반영 O
관련 기술 서베이
Finger Silhouette 알고리즘 구현 N
Finger silhouette 인식 및 hand gesture
Hand Tracking 알고리즘 구현
tracking 기술 구현
제 4 개발
통합 최적 알고리즘 구현
개발 2 결과 반영 및 개발 3과의 연계
개발 기술의 주관 기관 구현 플랫폼에의 개발 3 결과의 이식 및 통합
이식 및 통합 개발 4 결과의 이식 및 통합
제 5 개발

4. 과제수행계획서 2009/11
과제 개발 일정 및 결과물
+과제 (17개월) : 김 종현
월별 세부 수행 계획
연구기간(월) : 2009/10~2011/02(17개월)
단계별 구분
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
4
주요 과제 1
주요 과제 2
M
주요 과제 3
U
주요 과제 4 L
주요 과제 5
T
I
V
+주요 과제 1 (12개월) : 이 희정, 김 수지
월별 세부 수행 계획
E
연구기간(월) : 2009/12~2010/11(12개월) R
단계별 구분 S
1 2 3 4 5 6 7 8 9 10 11 12 결과 산출물
E
게임 시나리오 작성 및 기획 기획서
배경 및 캐릭터 스케치 스케치 이미지 I
N
배경 및 캐릭터 3D 모델링 모델링 데이터
T
게임 프로그래밍 구현 프로그램 코드 E
메시지 플로우 다이 R
어그램 및 설명서
과제 2,3,4와의 통합
A
C
+주요 과제 2 (6개월) : 김 종현
월별 세부 수행 계획
T
연구기간(월) : 2010/01~2010/06(6개월) I
단계별 구분 O
1 2 3 4 5 6 7 8 9 10 11 12 결과 산출물
N
XML정의서, 콘티,
인터페이스 스케치
가상 오브제 선택 및 투영 프로토콜
XML정의서, 콘티,
인터페이스 스케치
투영 개체와의 대화 프로토콜

5. 과제수행계획서 2009/11
+주요 과제 3 (13개월) : 김 종현
월별 세부 수행 계획
연구기간(월) : 2009/10~2010/10(13개월)
단계별 구분
1 2 3 4 5 6 7 8 9 10 11 12 13 결과 산출물
ARTookit 및 OSGART 코드 분석
마커 디자인 및 제작 스케치, mockup 5
마커 인식 알고리즘 구현 알고리즘 및 코드
개체 Registration 알고리즘 구현 알고리즘 및 코드
M
개체 Calibration 알고리즘 구현 알고리즘 및 코드 U
과제 2 결과 반영 L
T
I
+주요 과제 4 (13개월) : 안 정호
월별 세부 수행 계획 V
연구기간(월) : 2009/11~2010/12(13개월) E
단계별 구분
R
1 2 3 4 5 6 7 8 9 10 11 12 13 결과 산출물
S
관련 기술 서베이
E
Finger Silhouette 알고리즘 구현 알고리즘 및 코드
I
Hand Tracking 알고리즘 구현 알고리즘 및 코드
N
통합 최적 알고리즘 구현 알고리즘 및 코드
T
과제 2 결과 반영 및 과제 3과의 연계 E
R
A
+주요 과제 5 (3개월) : 김 종현, 안 정호, 최 창락
월별 세부 수행 계획 C
연구기간(월) : 2010/12~2011/02(3개월) T
단계별 구분
I
1 2 3 4 5 6 7 8 9 10 11 12 결과 산출물
O
과제 3 결과의 이식 및 통합 연계 프로토콜 규약서
N
과제 4 결과의 이식 및 통합 연계 프로토콜 규약서
3. 개발 시스템 개요

6. 과제수행계획서 2009/11
6
M
U
L
T
I
V
E
R
그림 1 개발 기술의 적용 예시도
S
E
I
N
T
E
R
A
C
T
I
O
N
그림 2 개발 시스템의 물리적 구성도

7. 과제수행계획서 2009/11
7
M
U
L
T
I
V
E
그림 3 개발 시스템의 논리적 구성도
R
S
4. 개발 추진체계
E
I
N
T
E
R
A
C
T
I
O
N

8. 과제수행계획서 2009/11
5. 전문가 활용
구분 목적 및 목표 성명 소속 및 직위 활용
컴퓨터 비젼 및 제스처 인식 2010/05
국내
사용자 감성 인터페이스 2010/04 8
M
6. 평가항목 및 평가방법
U
L
평가항목
T
I
평가항목(주요성능) 단위 개발목표치 가중치(%) V
E
주요 과제 3 편 국제 또는 국내논문 1편 이상 15% R
주요 과제 4 편 국제 또는 국내논문 1편 이상 15% S
과제 통합 편 국내특허 출원 1건 30% E
연구결과의 안정성 연구결과의 시현 40%
I
평가기준 N
T
E
평가기준
평가항목(주요성능) 단위 개발목표치 R
아주미흡 미흡 보통 우수 아주우수
(1) (2) (3) (4) (5) A
주요 과제 3 편 국제 또는 국내논문 1편 이상 O C
주요 과제 4 편 국제 또는 국내논문 1편 이상 O T
편 국내특허 출원 1건 O
과제 통합
I
O
연구결과의 안정성 연구결과의 시현 O
N
보고서 제출
중간 보고서 : 2010년 09월
최종 보고서 : 2011년 03월