Unity + Oculus Rift + LeapMotion
우주 체험 프로젝트 후기
정문철(flashscope)
mail@limecolor.com

Warning
프로젝트 마무리 차원에서
정리하는 문서입니다.
!
튜토리얼이나 강좌도 아니고
그냥 생각나는 에피소드를 두서 없이 정리합니다.
!
도움이 될 수도 있고 아닐 수도 있고…

-Oculus와 Leap Motion을 이용, 사용자에게 가상의 우주 체험
!
-Oculus를 사용하여 제한된 공간에서 가상공간 제공
!
-키보드, 마우스 등 기존의 물리적 장치를 사용 하지 않고
사용자에게 Leap Motion을 통한 모션 방식의 컨트롤 경험 제공

- Oculus Rift ‘DK1’
- LeapMotion
사용할 개발 장비
우주를 둘러 보면서
립모션으로 상호작용이 가능이 목표
!
주변에 빌려서 사용은 해보았지만
개발은 해본적 없는 장비…

- Intel i5-2500
- GTX 560 Ti
사용할 개발 장비
불특정 다수가 아니라
제어 가능한 소수의 컴퓨터에만
사용할 예정이기에 성능 최적화도
그냥 개발 컴퓨터 스팩에 맞춰서 작업…
(하지만 이것이…)

사용자
전시장에 오는 주 사용자가
초등학생이므로
시야각이 좁지만 사용하기 편한 C렌즈를 사용하기로 함
http://www.makeuseof.com/tag/everything-you-want-to-know-about-the-oculus-rift-dev-kit/

에피소드1 - 작업 환경을 갖추어 보다.
역시 초록색 검색기는
개발자 친화적이 아니구나…

유니티로 작업할 거면 Runtime과
Intergration만 있으면 됨! 편한 유니티! 샘플도 잘 되어있음!
!
(스샷은 당시와 좀 다릅니다… 5되면서 어떻게 또 바뀌었을지…)

어디서 많이 보던 집의 출처를 알게 되다…
카메라 부분은 OVRCameraRig하나만 보면 되지만
!
스카이박스도 기본 제공되는게 아니라 오큘러스용 스카이박스가 있는데
그런 부분들에 대한 참고용으로 좋습니다.

https://developer.leapmotion.com/vr
립모션 또한VR페이지를 비롯해서
유니티용 샘플 프로젝트가 잘 준비되어 있습니다.
!
오큘러스 오브젝트의 센터에 HandController를 맞춰 주면 기본 세팅 끝!

립모션VR페이지 보면 각도 넓고 그림도 더 넓고 크게 그려져 있지만…
https://www.leapmotion.com/product/vr

인식되는 거리가 한 25cm?정도여서 어른이 손을 펴서 사용하면
인식 범위를 오버… 좀 팔을 오므려서 사용해야하는 편하지는 않은 환경
https://www.leapmotion.com/product/vr
25cm정도

에피소드-FOV, IPD 개별 설정
사전 회의 중…
!
A : FOV(시야각)를 초등학생을 맞출께요!
!
B : 어른이 왔을 때를 위해서 옵션으로 어른용 어린이용 선택 가능한가요?
!
A : (문서를 본다)네 가능 할것 같아요~
하지만 그것이…

구글링해서 찾은 14년12월자 가이드에 보면 샘플 프로젝트에서
FOV와 IPD를 조작하는 내용이 있어서 코드 분석 후 적용 해 봄

하지만 아무래 해도 안됨!
심지어 문서대로 따라해도
샘플 프로젝트에서도 안됨!
silver surfer

하지만 되는 유튜브 동영상도 있음…
계속 방법을 찾아 보는데…
https://www.youtube.com/watch?v=QPhVLFlTmQA

또 포럼 구글링… 후 얻은 결과
“오큘러스는 임의로 조작하는걸
원치 않아 해요(어차피 제대로 못 맞출거고)
!
오큘러스는 사용자마다
Oculus Configuration utility로 프로필 만들고
거기서 보정하는걸 권장해요”
-> 즉 이제 컨트롤 못함
!
하지만 KGC의 오큘러스 체험부스에서도
매 사람마다 보정 안맞추듯
그냥 일반적인 값으로 개발하기로…
http://ctrlaltstudio.com/images/2013/11/oculus-rift-configuration-utility.png

!
B : Safety Warning을 없애고 싶어요…
!
A : 그게 오큘러스에서 강제로…

저 워닝화면은 파일로 되어있지 않고 오큘러스 라이브러리에
바이너리로 박혀있음…
-> 그런데 그걸 바꿔치기 해서 투명하게 만들어 버리는 사람이 있다!
!
하지만 그냥 6초동안은 시작하지 않고 대기화면 사용…
!
-한번 보면 씬 재시작 시에는 워닝이 표시가 되지 않음
->static으로 플래그를 만들고 이미 한번 보여줬으면 그냥 넘기도록…

오큘러스가 화면은 나오는데 동작을 안해요!
!
->개발하는 컴퓨터에서는 잘 동작하는데
다른 컴퓨터에서는 안되는 문제 발생
!
-한동안 마우스로 조작할 수 있도록 디버깅 코드 넣었지만
오큘러스SDK 버젼에 비해 Runtime버젼이 낮으면
동작을 안한다는 문제를 발견
!
Runtime업데이트로 해결!

일단 기본 세팅은 맞추고 프로토 타입 개발에 돌입…

에피소드-공전을 못 만들다니?!
A
B
C
<-Player(Oculus)D
흔히 3D실습때 만들던
행성 공전을 만들었는데…

1인칭 시점으로
(오큘러스 화면으로)
보면
!
굉장히 떨림이 발생…
행성이 순간이동…
CC
D
천호식품 산수유

A
B
C
<-Player(Oculus)D
결국 아예
다른방법으로 해결했는데
!
나중에 포럼을 보니
LateUpdate사용하라고함

A
B
D
그때서야 문제 원인 눈치 챔…
이동을 BCD순서대로 이동하면
좋은데…
B 1.
C

A
B
C
D
그때서야 문제 원인 눈치 챔…
이동을 BCD순서대로 이동하면
좋은데…
B 1.
C
2.

A
B
C
D
그때서야 문제 원인 눈치 챔…
이동을 BCD순서대로 이동하면
좋은데…
B 1.
C
2.
D
3.

A
B
D 1.
중간에 업데이트 순서가
꼬이다 보니…
!
이동이 어색해 졌던것…
C
D

A
B
D 1.
중간에 업데이트 순서가
꼬이다 보니…
!
이동이 어색해 졌던것…
!
(그것도 계속 Rotate곱해가는게 아니라
부모로부터 어느 각으로 이동하도록 해서
앞뒤로 왔다 갔다…)
D
C
2.
C

A
B
D 3.
D
C
2.
C
생각해보니 OpenGL 실습에서는
순서대로 곱해나갔던 기억이…
이제서야…
!
개발기간 하루 날림
유니티의 편안함은
사람을 바보로 만듭니다!
1.

에피소드-산속은 최고의 개발 환경?
월화수목금금금으로 풀타임 작업을 하고
앞의 완성화면은 아니지만 거의 가까운 프로토 타입 완성
!
시골 산속으로 이사를 갔더니…
치맥 없음, 가장 가까운 편의점 차타고 10분…
수면, 식사 시간 제외하고 정말 개발에만…
(개밥줄때 빼고 집에서 한발자국도 안나가는…)
!
마감이 얼마 안남은 소설가가
호텔에 가는지를 알게 됨!

프로젝트 완성 스샷, 영상
앞으로의 설명에 도움이 되기 위해
먼저 완성된 프로젝트 스샷과 영상을…

프로젝트 완성 스샷, 영상
가 제대로 없습니다…

프로젝트 완성 스샷, 영상
이미 장비를 다 반납해서 ㅠ
게다가VR은 아무리 설명해도
직접 해봐야 됩니다!

지금 몇개 스샷을 찍어 보기는 했는데
오큘러스를 통해 보는게 아니여서
눈이 아픕니다 ㅠ
!
정작 중요한 LeapMotion손도 안보이고ㅠㅠ

그나마 프로토타입떄 녹화한
기본 립모션 손 모델…

손 모델 변경 프로토타입

에피소드-립모션용 손 모델을 적용하기
처음 프로토 타입은 립모션에서 기본 제공하는
사람 손 모델을 사용을 하였지만
!
우주복으로 변경하기로 함

하지만 어딜 찾아봐도
립모션 손 모델을 만드는 법에 대한 자료가 없음

직접 prefab과 model을 조사해 보기로…

로봇손은 너무 복잡해서 RiggedPepperFullHands를
기반으로 본 구조를 유지하고 우주인 손 만들기를 디자이너분께 의뢰

크게 HandContainer와 ForearmContainer
그리고 손가락 마디로 구성이 되어 있음…

각 손가락 마다 손가락 종류, 방향과
손가락 마디의 정보를 다 넣어줘야함…(노가다)

그리고 종합적으로 손에 각 손가락 정보와
Hand,Forearm을 넣어주면 기본적인 세팅은 끝

하지만 각 본의 각도가 조금이라도 틀어지면 보기 힘든 상황이…
직접 Max나 Maya로 수정을 할줄 알면 좋겠지만
매번 수정을 디자이너분께 요청하고 유니티에서 편집하고의 반복으로
시간 소요와 정밀한 손 모델을 못 만들었음…
잘 설명도 못하면서 계속 수정을 받아주셔서 감사합니다!

매번 기본 샘플은 어떻게 되어있는지 비교하면서 작업하느라
처음엔 양손 작업에 30분 이상 소요…
나중엔 한손만 작업하고 나머지 손은 뒤집어서 사용해서 시간 절약

에피소드-립모션 조작 방식과 인식에 대한 고민
조작 모드는 두가지가 있었음…
행성 탐사 행성 공전

정지 전진
우 회전좌 회전
행성 탐사시에는 립모션으로 이동을 기획 하였으나…

바닥에 놓고 사용하면 괜찮지만 오큘러스에서 붙인 상태에서는
손이 둥그렇게만 보이다 보니 인식이 굉장히 나쁨…

오큘러스 + 립모션에서는
손을 펴서 조작하는 방식이 인식측면에서는 최고 인듯

에피소드-가짜 중력 발생
지구
행성탐사는 행성위에서 회전하면서 이동이 가능해야 함
Mario Galaxy
http://images2.fanpop.com/image/photos/12800000/Starship-Mario-super-mario-galaxy-2-12801698-600-600.jpg

https://www.youtube.com/watch?v=gHeQ8Hr92P4
지구
(parent)
이때까지 가능하면 물리엔진을 사용 안하고 Update로 구현했는데
가짜 중력은 부모 방향으로 단순히 AddForce만 하도록 함

지구
(parent1)
달
(parent2)
다만 바로 중력이 적용되는 부모를 변경하면
격한 이동이 발생하여 천천히 단계를 밟으면서
중력이 적용되는 기준을 바꿈
이륙 준비!
중력으로부터
벗어남!(p1중력 정지)
-이동-
착륙준비
(p2중력 적용)
천천히
회전하면서
착륙

에피소드-범인은 오큘러스!
사방을 둘러보다 다른 행성을 계속 쳐다보면
그 행성으로 이동을 하는데…

모니터
오큘러스
지구
지구를 쳐다 보다…

모니터
오큘러스
지구
옆에 있는 달로 이동 하고…
달

모니터
오큘러스지구
또 지구로 이동을 하게 되면?!
이걸 반복하면?!
달

모니터
지구
물론 목을 조르지는 않고 USB가 빠지긴 하지만…
달
오큘러스

(image via Flickr – CC)
https://www.unofficialcardboard.com/news/5-tips-for-the-best-google-cardboard-vr-experience/
컴퓨터 의자 필수…
하지만 그래도 문제가 되는 상황
!
(전에 만든 카드보드 앱도 사이트 뉴스에서 의자를 준비하라고…)

모니터
오큘러스
지구
옆에 있는 달로 이동을 하게 되면…
달
해결 방법

모니터
오큘러스
지구
서서히 달로 이동하는 장면을 만들고
달
해결 방법

모니터
지구
서서히 모니터 쪽으로 카메라를 이동…
사용자는 계속 달을 쳐다보려고 따라가면…
달
해결 방법
오큘러스
달
달
지구
지구

모니터
가능하면 항상 모니터 방향이 앞이 되도록 유도
달
해결 방법
오큘러스
달
달
지구
지구
지구
지구
달
달

에피소드-장해물 배치와 난이도
마침 넥서스대상? 으로
구글에서 그래비티를 무료 배포!

눈높이에서 플레이어 옆으로 지나가도록 설정
아슬아슬하게 피해가는 느낌?을 줄수 있도록 장해물을 배치

A : 클리어 난이도는 어떻게 할까요?
!
B : 첫 플레이시에는 한 70~80%확률로 게임오버되고
두번째 플레이에서는 클리어 할수 있게 하고 싶어요
!
A : 한번 생각해 볼께요…
!
-> 장해물을 규칙적으로 배치하면 처음에는 힘들지만
규칙을 조금이라도 느끼게 되면 쉽게 클리어하지 않을까?
!
를 생각하며 장해물을 배치
앞의 연출이라던가 난이도를 유지하기 위해
자동 배치는 포기함
난이도

지구
공전 코스
장해물장해물
장해물
장해물
장해물
장해물
장해물 장해물 더
미
더
미 더
미
더
미
더
미
더
미
더
미
더
미
더
미
더
미
더
미
더
미
더
미
더
미
더
미
더
미
그냥 스쳐 지나가는 더미는 불규칙 적이지만
실제 장해물은 규칙적으로 배치

지금 생각해보면
첫 플레이시에 대부분 게임오버되고
두번째 익숙해지면 성공이 적절했을지는 의문
!
-> 전시 체험코너에서 두번 안할것 같음…

뒤 늦은 최적화…
프로젝트 막바지로
실제 전시장에서의 설치 작업이 진행될 때쯤
프로그램이 버벅인다는 연락이 옴…
!
여러가지 컴퓨터 사양에 대해 들었는데
그래픽 카드가 GT630…!?

http://oddeyer.com/index.php?mid=graphics_compare&document_srl=2238&compare1_srl=320&compare2_srl=853
처음에 제시한 gtx560ti과 630… 560도 사실 구형…

마지막주에 고 폴리곤 매시, 텍스쳐 변경 작업을 하였는데
이제 다시 퀄리티 다운은 안하기로 하고
!
최대한 오브젝트를 덜 그리는 방향으로 최적화 진행…
그런데 그 스펙으로는 저래도 문제일 텐데
그 이후로 이슈가 안된걸 보면 컴퓨터를 업그레이드 했을듯…

마무리
Oculus Rift + Leap Motion 조합은 좋다!
나중에 이 둘이 합쳐서 사용하는게 기본 조합이 되지 않을까 생각중
(LeapMotion인수 안할려나…)
!
다만 선이 문제가 됨…(GearVR?)
!
간단한 조작만 요구하는 오큘러스 프로젝트에는
립모션을 사용해보길 추천드립니다.

CardBoard ↔ OculusRift
정말 10분안에 변경 가능 함!
한쪽 만드신게 있으면 양쪽 다 출력해 보시길…
!
(물론 그래픽도 달라지는게 좋겠지만…)

기회를 주신
박민근 교수님과 h2Company에
감사드립니다.
Copyright © All Rights Reserved h2Company