1. IoT/웨어러블 디바이스에서의
동작인식 기술 및 활용 분야
윤 훈 주
유비유넷 대표
firehj@hanmail.net
http://www.facebook.com/firehj
유비유넷 페이스북 그룹 http://www.facebook.com/groups/ubiunet/
2014. 7. 26
2. 1/81 동작인식 기술 및 활용 분야
들어가며
영화 “마이너리 리포트”의 동작인식 아날로그를 디지털화
3. 2/81 동작인식 기술 및 활용 분야
동작 인식 분류
손에 디바이스를 들고
움직임
몸에 디바이스를 착용하고
움직임
디바이스 위에서 움직임
사람의 움직임을 관찰
Hand held형
Wearable형
체중계형
거치형
몸동작
손동작
얼굴동작
가속도센서
자이로 센서
카메라(빛)
전파
음파
스마트폰
리모컨
스마트워치
스마트안경
스마트반지
스마트신발
키넥트
Wii fit
<제품군><사용형태> <사용자 동작> <센싱기술> <인식 대상>
압력
4. 3/81 동작인식 기술 및 활용 분야
동작인식의 특징
평면적
제어
손가락
접촉
몰입감
부족
실감나게 직관적
Hands
free즉시적
동작인식은 게임분야에서 몰입감 향상을 위해 대중화되었으며,
기기 제어를 직관적이고 편리하게 하기 위한 용도로 활용분야가 확대되고 있음
입체적
제어
X, Y X, Y, Z
6. 5/81 동작인식 기술 및 활용 분야
<PC> <스마트폰> <타블릿>
<스마트 TV/가전>
• LTE
• 고성능 AP (quad à octa)
• 센서: 가속,지자기,각속도, 압력
• 고해상도/대화면 디스플레이
• 고해상도 카메라(전면, 후면)
• 대용량 배터리
• 음성인식/얼굴인식/동작인식
• 펜입력
• 클라우드
• 슬림
• 디자인
• 타블릿 기능
다양한 디지털 기기에 스마트 기능이 적용되고 있으며, 기존 사물도 스마트해져 가고 있음
<스마트 자동차>
스마트 기능의 확대
<웨어러블> <M2M/IoT>
7. 6/81 동작인식 기술 및 활용 분야
스마트폰의 입력 기능 확장
<애플>
<구글>
<MS> <아마존>
8. 7/81 동작인식 기술 및 활용 분야
스마트폰이 가지지 못했던 센서들을 주변기기를 통해 확장
<신용카드 결제> <체중계>
스마트폰의 센싱 기능 확장
<헬스케어 센서 케이스>
<풍속 감지><알코올 측정> <체온 측정> <웨어러블 연동>
9. 8/81 동작인식 기술 및 활용 분야
초소형 /저가 HW 플랫폼
10만원 이하의 저가 컴퓨터의 등장으로 다양한 응용제품의 활성화 기대
25달러/35달러
<구글 크롬 캐스트>
< 라즈베리파이>
<인텔 에디슨>
<로쿠>
<델>
10. 9/81 동작인식 기술 및 활용 분야
3D 프린터
100만원대의 저가 3D프린터로 인하여 초소형 컴퓨터 보드와 결합한 다양한 맞춤형 IT기기의 등장 예상
11. 10/81 동작인식 기술 및 활용 분야
<모형제작>
< 로봇>< 사물기기> < 기념품>
< 플렉서블 제품>
<금속 부품>
3D 프린터의 활용분야
< 레고블럭>
37. 36/81 동작인식 기술 및 활용 분야
소리를 이용한 동작 인식
사용자의 움직임에 따라 소리의 반사 특성(도플러효과)이 달라지는 것을 통해 사용자의 동작을 감지
<Sound wave> <진동을 악기의 소리로 변환>
38. 37/81 동작인식 기술 및 활용 분야
전파를 이용한 동작인식
사람의 움직임에 따라 반사되는 전파의 주파수 성분이 변화하는 것을 감지하여 동작인식을 구현
<동작원리> <가전 제어> <장애물 투과>
39. 38/81 동작인식 기술 및 활용 분야
적외선 센서 어레이
평면적인 키보드를 입체적인 제어가 가능하도록 함
40. 39/81 동작인식 기술 및 활용 분야
Single 카메라 방식
기기에 탑재된 기존 카메라를 이용한 동작인식
à 추가적인 하드웨어 없이 소프트웨어로만 구동하며, 방향 이동 정도의 인식 수준
<스마트폰> <타블릿> <노트북>
41. 40/81 동작인식 기술 및 활용 분야
스테레오 카메라 방식
2대의 카메라로 바라보는 영상의 차이를 이용하여 거리 측정
< 아마존 fire phone>
< leap motion>
- 4개의 전면카메라
- 세로 및 가로 모드 지원
42. 41/81 동작인식 기술 및 활용 분야
아마존 fire phone
<얼굴까지의 거리 측정><광각 렌즈> <Face tracking>
가로 및 세로 모드를 지원하기 위해
4개의 적외선 카메라를 배치함
스테레오 카메라 방식
아마존의 파이어 폰은 스테레오 카메라를 스마트폰에 적용한 제품임
44. 43/81 동작인식 기술 및 활용 분야
Structured-light 방식
물체에 맺힌 패턴을 분석하여 거리 측정
Depth Camera
640x480
30fps
RGB Camera
640x480(30fps)
1280x960(12fps)
45. 44/81 동작인식 기술 및 활용 분야
<격자 패턴>
점 형태의 코드화된 적외선 패턴을 사용하며,
거리에 따라 패턴이 맺히는 위치가 달라짐
키넥트에 적용된 적외선 dot 패턴
거리에 따라
IR패턴이 맺히는
위치가 달라짐
46. 45/81 동작인식 기술 및 활용 분야
키넥트의 작동 범위
0.8미터
1.2미터
3.5미터
4미터
<일반모드> <근거리모드>
0.4미터
0.8미터
2.5미터
3미터
- 키넥트 for Xbox360: 2명 동시 트래킹
- 키넥트 for Windows: 근거리 모드 지원(0.4m~3m)
- 키넥트 for Xbox one: 6명 동시 트래킹, ToF 방식
27도
수평각도 57.5도
27도
43.도
48. 47/81 동작인식 기술 및 활용 분야
적외선 조명을 비추어 빛이 물체에 반사되어 돌아오는 시간을 측정하여 거리 계산
<파나소닉의 D-imager>
ToF( Time of Flight) 방식
사용거리: 1.2m~9m
각도: 수평60도, 수직 44도
거리오차: 2~3cm
49. 48/81 동작인식 기술 및 활용 분야
키넥트 for Xbox one
1080P HD RGB Camera
30FPS
Time of Flight(TOF)
Microphone Arrays
키넥트2에는 ToF센서를 탑재하였으며, 키넥트1보다 정교한 동작인식 가능
50. 49/81 동작인식 기술 및 활용 분야
칼라영상 일체형 ToF 센서
칼라 카메라 센서에 거리를 측정할 수 있는 픽셀을 삽입하여 하나의 센서로 칼라영상과 depth영상 동시 획득
Samsung
51. 50/81 동작인식 기술 및 활용 분야
< SoftKinetic DepthSense>
<FOTONIC>
<PMD CamCube >
<MESA Imaging SwissRanger> <IEE S.A. 3D MLI Sensor> <ARTTS camera>
<PMD CamBoard> <real.IZ 2+3D™>
ToF 카메라 제품
ToF 센서 제품 출시가 확대되고 있음
59. 58/81 동작인식 기술 및 활용 분야
Body Tracking
골격을 기반으로 하여 사람의 동작을 표준화함
<멀티 트래킹>
<인식 모드>
Standing: 20 Joint
Seating: 10 Joint
<키넥트1과 키넥트2비교>
20개 joint, 2명 동시 트래킹 25개 joint, 6명 동시 트래킹
60. 59/81 동작인식 기술 및 활용 분야
Body Gesture
키넥트에서의 Body gesture
61. 60/81 동작인식 기술 및 활용 분야
주요 Body Gesture 소프트웨어
NITE애플인수
인텔 인수
71. 70/81 동작인식 기술 및 활용 분야
몰입감 높은 게임
<방송 캐릭터와 커뮤니케이션>
온몸을 자유롭게 움직임으로서 게임의 몰입감을 높힘
<대결 게임>
<격투 게임><스포츠 게임> <댄스 게임>
<머신 게임>
72. 71/81 동작인식 기술 및 활용 분야
실감나는 체험
<모래성 쌓기>
<테마파크>
<증강현실> <당구 게임>
눈으로만 보는게 아니라 몸을 움직이며 적절한 시각적, 청각적 피드백을 받음으로써 몰입감 증대
<3D view>
73. 72/81 동작인식 기술 및 활용 분야
가상의 악기를 연주하는 퍼포먼스
<지휘>
<바이얼린 연주>
<드럼 퍼포먼스>
<기타 연주>
악기가 없어도 내 몸의 움직임이 악기처럼 반응함으로써 기존에 경험하지 못했던 즐거움 제공
<하프 연주>
74. 73/81 동작인식 기술 및 활용 분야
<헬스클럽 코칭>
나의 동작을 교정해주는 코칭
<골프 스윙 코칭><Nike+ Kinect Training>
<노인 재활훈련><게임형 재활훈련>
옆에서 가르쳐 주는 사람이 없어도 나의 동작에 대해 코칭을 해주는 서비스를 제공
<제스처 스킬 코칭>
75. 74/81 동작인식 기술 및 활용 분야
직관적 제어의 편리함
별도의 기기를 손에 들지 않아도 되는 편의성
76. 75/81 동작인식 기술 및 활용 분야
<TV 제어>
멀리 떨어진 화면을 동작인식으로 제어
<수술시 의료정보 검색>
<자동차 네비게이션>
<실습 수업>
<주방> <자동차>