Berührungslose Mensch-Maschine-Schnittstellen, die durch die Beobachtung und das Erkennen von Bewegungsmustern im dreidimensionalen Raum anhand von Tiefensensoren ermöglicht werden, erfreuen sich einer immer größeren Beliebtheit. Damit das volle Potential einer tiefensensorbasierten Mensch-Maschine-Schnittstelle vielfältig genutzt werden kann, müssen traditionelle Interaktionsparadigmen aufgegeben werden. So kommen bei der Steuerung der Xbox 360 mit der Kinect weiterhin Interaktionsparadigmen zum Einsatz, die stark an der Maus-Cursor-Interaktion orientiert sind. Eine aufwendige Analyse der Körperbewegungen, wie sie zum Beispiel in „Nike+ Kinect Training“ oder „Dance Central“ implementiert ist, um die Bewegungen des Nutzers zu analysieren, kommt aber recht selten zum Einsatz – zeigt aber bereits die potentiellen Möglichkeiten auf. Wir stellen zahlreiche mögliche Anwendungen der dreidimensionalen Gestenerkennung vor die unter anderem mit der Software Kinetic Space realisiert wurden. Dabei gehen wir auf unsere Erfahrung bei der Entwicklung und dem Support von bereits heute realisierten oder noch in der Entwicklung befindlichen gestenbasierten Anwendungen ein und zeigen auf, was heute technisch bereits möglich ist und wo noch Entwicklungsarbeit geleistet werden muss.

1. Prof. Dr. Matthias Wölfel, ColorfulBit und HS Furtwangen
Kinetic Space
Ein intuitiver Zugang zur 3D Gestenerkennung

2. 2 2
ENTWICKLUNG DER
MENSCH-TECHNIK-INTERAKTION
2
Etwas ging furchtbar schief!

3. 3 3
ENTWICKLUNG DER
MENSCH-TECHNIK-INTERAKTION
3
Und die schlechte Nachricht ...
 Smartphonenutzung belastet den Rücken je nach Haltung um bis zu 30 Kg.

4. 4 4
TRADITIONELLE INTERAKTIONSPARADIGMEN
4
SelektionAufmerksamkeit PauseAuswahl
... werden oft adaptiert
 Zeigegesten der Maus (Selektieren und Auswählen) werden auf neue
„Geräte“, z.B. Touchpad oder Kinect, übertragen.
 Tasten werden durch virtuelle Knöpfe ersetzt.

5. 5 5
... können nicht einfach übernommen werden
TRADITIONELLE INTERAKTIONSPARADIGMEN
5
 Um im 3D Raum zu interagieren, können traditionelle
Interaktionsparadigmen (wie im Beispiel gezeigt) nicht einfach
übernommen werden, denn für den Anwender ergeben sich gegenüber
traditionellen Eingabemethoden wie Touchpad oder Maus keine Vorteile.
SelektionAufmerksamkeit PauseAuswahl

6. Die Kunst ist es, die Besonderheit eines
jeden Mediums auszuschöpfen.
“ Matthias Wölfel
6

7. 7 7
INTERAKTION
Explizit
7
 Der Nutzer führt Aktionen bewusst
aus, um mit einem technischen
System zu interagieren
 Benutzer nimmt AKTIV am
Geschehen teil:
 Bedient geeignete
Interaktionsgeräte
 Hat in der Regel ein
Benutzerziel
 System reagiert (geeignet) auf
Benutzereingabe
Bekannt von
„traditionellen“
Interaktionsparadigmen

8. 8 8
INTERAKTION
Explizit
8
 Der Nutzer führt Aktionen bewusst
aus, um mit einem technischen
System zu interagieren
 Benutzer nimmt AKTIV am
Geschehen teil:
 Bedient geeignete
Interaktionsgeräte
 Hat in der Regel ein
Benutzerziel
 System reagiert (geeignet) auf
Benutzereingabe
Beispiel virtuelle Umkleide
 Durch verschiedene Wisch-
bewegungen der Hand werden
die Kleidungsstücke gewechselt

9. 9 9
Implizit
INTERAKTION
9
 Das Verhalten des Nutzers ist
nicht primär auf die Interaktion mit
dem technischen Gerät
ausgelegt. Sein Verhalten wird
aber von diesem interpretiert
 Benutzer ist PASSIV beteiligt:
 Wird durch System
beobachtet (Sensorik)
 Interpretation von
Kontextdaten
 System löst selbstständig
Ereignisse und Handlungen aus
Unbekannt in
„traditionellen“
Interaktionsparadigmen

10. 10 10
Implizit
INTERAKTION
Explizit
10
 Das Verhalten des Nutzers ist
nicht primär auf die Interaktion mit
dem technischen Gerät
ausgelegt. Sein Verhalten wird
aber von diesem interpretiert
 Benutzer ist PASSIV beteiligt:
 Wird durch System
beobachtet (Sensorik)
 Interpretation von
Kontextdaten
 System löst selbstständig
Ereignisse und Handlungen aus
 Der Nutzer führt Aktionen bewusst
aus, um mit einem technischen
System zu interagieren
 Benutzer nimmt AKTIV am
Geschehen teil:
 Bedient geeignete
Interaktionsgeräte
 Hat in der Regel ein
Benutzerziel
 System reagiert (geeignet) auf
Benutzereingabe

11. 11 11
Implizit
INTERAKTION
11
 Das Verhalten des Nutzers ist
nicht primär auf die Interaktion mit
dem technischen Gerät
ausgelegt. Sein Verhalten wird
aber von diesem interpretiert
 Benutzer ist PASSIV beteiligt:
 Wird durch System
beobachtet (Sensorik)
 Interpretation von
Kontextdaten
 System löst selbstständig
Ereignisse und Handlungen aus
Beispiel virtuelle Umkleide
 Alter und Geschlecht wird
verwendet, um entsprechende
Inhalte anzuzeigen; z.B. Kleidung
 Das Mannequin ahmt den Nutzer
nach.

12. 12 12
Virtuelle Auswahl von Kleidungsstücken
VIRTUELLER UMKLEIDERAUM

13. 13 13
TECHNISCHES SETUP
13
Projection Area
RGB Camera Kinect Camera
Area of Interaction
Gender & Age
Estimation
3D Gesture
Recognition
Image Generation

14. 14 14
3D GesturesTouch
19
20
34
24
WAS SAGEN DIE ANWENDER
14
Ich finde es unangenehm in der Öffentlichkeit
per … zu interagieren.
3
12
47
35
Starke Zustimmung Zustimmung Ablehnung Starke Ablehnung

15. 15 15
Online Hybrid Space
WAS SAGEN DIE ANWENDER
15
29
43
20
5
45
45
6 1
Adaptive Werbung finde ich nützlich.
Starke Zustimmung Zustimmung Ablehnung Starke Ablehnung

16. 16 1616
Idee
KINETIC SPACE
Minority Report
 Gestenerkennungstechnologie für jedermann zugänglich zu machen,
indem 3D Gesten aufgenommen, analysiert und angepasst werden
können.

17. 17 17
Toolkit zum Erfassen von Bewegungen
KINETIC SPACE
Klassifikation von Bewegungen Analyse von Bewegungen
 Ermöglicht einfachen und intuitiven Zugang zu
Gestenerkennungstechnologie:
 Bewegungen aufnehmen
 Bewegungen automatisch klassifizieren
 Bewegungen automatisch analysieren

18. 18 18
BEISPIEL: FERNSTEUERUNG
18
 Steuerung von
 beliebigen anderen Programmen wie
z.B.
 PowerPoint
 Max/MSP
 Pure Data
 VVVV
 Resolume
 Hardware
 Ermöglicht
 durch Tastatur- und Mausemulation
 über das OSC-Protokoll
18

19. 19 19
CLIENT EXAMPLE: SPIELSTEUERUNG
19
 Integration in Computerspiele, z.B.
 Erkennen von Ballwurf und Flugrichtung (Hintergrundbild „Yetis“)
 Erkennen von Flügelschlägen in Flugsimulation
19

20. 20 20
Überwinden von Höhenangst und Trainieren des Gleichgewichtssinns
CLIENT EXAMPLE:
VIRTUELLE TRAININGSUMGEBUNG

21. 21 21
3D-Grafik neu erleben
CLIENT EXAMPLE:
STEREOSKOPISCHES SCHAUFENSTER

22. 22 2222
Skeletal Reflections
CLIENT EXAMPLE: ROBOTERSTEUERUNG
Chico Macmurtrie
Art and Artificial Life: Vida 1999-2012
EspacioFundacionTelefonica,CalleFuencarral3,Madrid
ExhibitionfromMay10,2012throughJanuary6,2013

23. 23 23
A media center can be controlled by particular gestures, Politecnico di Torino, Italy
CLIENT EXAMPLE: MEDIA CONTROL

24. 24 2424
Feeding Ducks
CLIENT EXAMPLE: DUCK POND
Students of the Dresden University of Applied Sciences,
Germany lets users interact and feed virtual ducks.

25. 25 25
CLIENT EXAMPLE: HUMANOID ROBOT
 Gesture based communication with a
humanoid robot.
 Developed by Prof. Dr. Peer
Johannsen (University of Pforzheim,
Germany) and his students.
25

26. 26 26
Zettwerk realized a training program for physical excercises with feedback
CLIENT EXAMPLE: PHYSICAL EXCERCISE

27. 27 27
CLIENT EXAMPLE: PYROTECHNIC
 Fireworks and solenoids are controlled
by dance moves detected by Kinetic
Space.
 Realized by Paul Stoffregen, USA.
27

28. 28 28
a fitness game by Vincent Stebel, where you get rid of ghosts by waving arms
CLIENT EXAMPLE: VIRTUAL MARATHON

29. 29 29
CLIENT EXAMPLE: PLAYING MUSIC
 Learning an instrument is supported by
tracking and recognizing arm movements.
 The recognized movements are visualized
to give the musician relevant feedback.
 Realized by Talía Baños Sánchez
and Marcel F. Vesga (Hochschule
für Künste Bremen)
29

30. 30 30
ANALYSE DER ANWENDUNGSBEISPIELE
Anwendung Genauigkeit Merkmale Verdeckung Kooperation
Mediensteuerung + + + +
Rehabilitation – – – O
Assisted Living O O – –
Operationssaal + + O O
Arbeitssicherheit + + + –
Robotik – O + O
Lernen O O + +
Interaktiver Film + O + +
Tanz, DJ, VJ O O O –
Spiel + + + +
Werbung O + O O
Überwachung O O – –

31. 31 31
UND WAS KÖNNTE IHR NÄCHSTES PROJEKT SEIN?
“[…] What is it good for? Well, it can read a
gesture from one person and register it on
another and you can train it to register tiny
movements and, potentially, allow for full
motion control of your PC. Minority Report it
isn’t, but that future is getting closer and
closer.”
– www.techcrunch.com 2011/08/05