Head Mounted Displays & Datenbrillen: VDC-Whitepaper

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC
Whitepaper
Head Mounted Displays & Datenbrillen
Einsatz und Systeme
Dr.-Ing. Dipl.-Kfm. Christoph Runde
Virtual Dimension Center (VDC) Fellbach
Auberlenstr. 13
70736 Fellbach
www.vdc-fellbach.de

ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Inhalt Vortrag
 Systemklassen
Head Mounted Display (HMD) – Videobrille – Datenbrille
 Simulatorkrankheit / Cyber Sickness
 Einsatzfelder HMDs:
Innenraumbegehungen, Training,
virtuelle Absicherung Enginering / Ergonomie
 Einsatzfelder Datenbrillen:
Prozess-Unterstützung, Teleservice,
Konsistenz-Checks, Kollaboration
 Entwicklungsrichtungen: technische Spezifikationen,
(Eye) Tracking, Retinaldisplays, Lichfeldtechnik,
Tiefenbildsensoren
 Einsatzvoraussetzungen Information & Integration
(Menschen, IT, Prozesse)
 Abschlussbemerkungen
2

VDC-Whitepaper
Head Mounted Displays (HMDs) – kurzer Abriss
 1961: erstes HMD auf dem Markt
 1965: 3D-getracktes HMD durch Ivan Sutherland
 HMDs seit 1970er Jahren in signifikanter Anzahl im militärischen Bereich im Einsatz (Training, Zusatzanzeige)
Tabelle: Bedeutende HMD-
Projekte seit den 1970er
Jahren [Quelle: Li, Hua et.
al.: Review and analysis of
avionic helmet-mounted
displays. In : Op-tical
Engineering 52(11),
110901, November 2013]
3
Systemklassen

VDC-Whitepaper
Head Mounted Display Videobrille Datenbrille
Charakteristik Integration des Benutzers in eine
interaktive 3D-Umgebung
tragbarer Bildschirm tragbare Zusatzanzeige
Zielstellung,
Einsatzzweck
Virtual Reality, optional Augmented
Reality (AR) per Video-See-Through
Filmbetrachtung, Bildanzeige Zusatzinformationen bei Arbeit, Freizeit;
optional AR per Optical-See-Through
Isolation Isolation des Benutzers von der
realen Umgebung
Isolation des Benutzers von der realen
Umgebung
keine Isolation des Benutzers;
Anzeige zusätzlich zur Realität
Field-of-View großes Field-of-View,
damit bewegtes Auge
geringes Field-of-View,
damit tendenziell ruhendes Auge
sehr geringes Field-of-View; Auge
betrachtet bei Bedarf aktiv die
Zusatzanzeige; geringe Beschränkung der
natürlichen Sicht
Tracking sehr schnelles, sehr exaktes Head
Tracking notwendig
nicht notwendig zumeist grob; bei Einsatz für Augmented
Reality sehr exaktes Head Tracking
notwendig
Typischer Vertreter Oculus Rift Carl Zeiss Cinemizer Vuzix M100
Klassifizierung Head Mounted Display – Videobrille - Datenbrille
4
Systemklassen

VDC-Whitepaper
Vorteile von HMDs gegenüber Projektionen
Systemische Vorteile von HMDs
 Kompaktheit: umschließendes VR-System
auf kleinstem physischen Raum
 Preis: preisgünstig im Vergleich zu
Mehrkanalprojektionen
 Isolation und Immersion:
Benutzer konzentriert sich voll auf
Inhalt und Aufgabe, blendet Realität aus
 Orientierungssinn muss zwangsläufig immer
mit bedient werden (wg. Simulatorkrankheit)
 kein Akkommodationskonflikt:
bei der haptischen Interaktion vor einer
Projektionswand kann der Benutzer entweder
nur auf die Projektion oder nur auf seine Hände
fokussieren. HMDs haben dieses Problem nicht.
5
Bild: Fh-IPA
Einsatz eines HMDs und
eines Datenhandschuhs zur
Roboterprogrammierung
Anfang der 1990er Jahre
Systemklassen

VDC-Whitepaper
Nachteile von HMDs gegenüber Projektionen
Systemische Nachteile
 Isolation:
o fehlende Wahrnehmung der Umgebung
führt zu Unsicherheit
o fehlende Eigenwahrnehmung verwirrt
 Isolation:
kooperatives Arbeiten ist nur
eingeschränkt möglich
 Akzeptanz:
Ablehnung von HMDs als technische
Spielerei
6
Bild: Fh-IAO
Einsatz eines HMDs und eines
Datenhandschuhs für
Ergonomie-Untersuchungen
Mitte der 1990er Jahre
Systemklassen

VDC-Whitepaper
Nachteile von HMDs gegenüber Projektionen
Produktimmanente Nachteile
 unzureichende Ergonomie:
Gewicht, Gewichtsverteilung, umständlich
anzulegen, Passkomfort, Fixierung, Hygiene
 fehlende geeignete Eingabesysteme:
Verzicht auf Maus, Tastatur
 mäßige Auflösung: lediglich
oberstes Preissegment > 1280 x 1024
 Akzeptanz: Fixierung Beeinträchtigung
von Frisur, Kosmetik
 feststehender Bildabstand
 Wahrscheinlichkeit für Cyber Sickness /
Simulatorkrankheit hoch,
da stark isolierendes System
7
Systemklassen
Bild: British Aerospace
Bild: :British Aerospace
VECTA Flugsimulator
(British Aerospace), 1987,
von außen
VECTA Flugsimulator
(British Aerospace), 1987,
Sicht im HMD

VDC-Whitepaper
Cyber Sickness
Einige Menschen empfinden Übelkeit oder
Kopfschmerzen in immersiven Umgebungen:
warum?
 Grund 1: okulomotorische Tiefenkriterien
widersprechen sich:
o Akkomodation des Auges:
Fokus immer auf das Display, damit wir
das Bild scharf sehen
o Konvergenz (Eindrehen) der Augen
auf das virtuelle Objekt vor oder hinter der
Projektionsscheibe [Gehirn legt damit die
Bilder der Augen übereinander]
-> Widerspruch
8
Fernblick Nahblick
Fernblick Nahblick
Systemklassen
Bild: Tridelity

VDC-Whitepaper
Cyber Sickness
 Grund 2:
vestibuläre Wahrnehmung (Lagesinn)
und visuelle Wahrnehmung widersprechen sich
o Beispiel Projektionssystem:
- mehrere Betrachter
- nur 1 Betrachter getrackt
- getrackter Nutzer bewegt sich
o Beispiel HMD:
- schon geringfügige Latenzen zwischen
Kopfbewegung und Bildreaktion
-> widersprüchliche Bewegungsinformationen
9
Systemklassen
Bild: Fh-IAO
Vestibulärorgan

VDC-Whitepaper
Einsatzfelder HMDs: Innenraumbegehungen
Motivation
 virtuelle Absicherung von Umgebungen, in
denen das Raumgefühl und dessen subjektive
Bewertung relevant sind
 Sichtverhältnisse (Orientierung und Sicht)
 Anwendungsbeispiele:
o im PKW
o im Cockpit
o in Kabine
o im Gebäude
Bild: CNH
Bild: Daimler
xxx
xxx
xxx
10
Einsatzfelder

VDC-Whitepaper
Beispiele Inneneinrichtung
 Innenarchitektur
 Badplanung
 ähnlich: Flugzeugkabine
Bild: Immersight
Bild: Inreal
Virtuelle Badbegehung
mit 6D-getracktem HMD
Virtuelle Hausbegehung
11
Hardware-Aufbau für die virtuelle
Hausbegehung mit Inreal: weitere
Personen (etwa Ehepartner) können
die Szene auf dem Monitor verfolgen.
Einsatzfelder

VDC-Whitepaper
12
Bild: Bauhaus-Universität Weimar
Sitzkiste und verteilte 3D-Umgebung für 2 Personen.
Links: physischer Aufbau; Rechts: korrespondierende 3D-Szene
Einsatzfelder

VDC-Whitepaper
Einsatzfelder HMDs: virtuelle Absicherung Engineering / Ergonomie
Bearbeiten von 3D-Szenen aus der Ego-Perspektive
 Überprüfung von technischen Einrichtungen,
Installationen, Arbeitsplätzen,
Bedienschnittstellen bezüglich
o Bedienbarkeit
o Benutzbarkeit
o Verständlichkeit
o Einsehbarkeit
o Erreichbarkeit
o Bewegungsfreiräume
o …
 allgemeine Gültigkeit u.U. eingeschränkt,
da Ergebnisse Nutzer-spezifisch
Bild: ESI
Bild: Fh-IAO
Bild: ESI
Baubarkeitsuntersuchung
mit 3D-Menschmodell
Ergonomieuntersuchung
mit 3D-Menschmodell
Ergonomieuntersuchung
mit 3D-Menschmodell
13
Einsatzfelder

VDC-Whitepaper
Einsatzfelder HMDs: Training
Motivation
 360°-Simulation erforderlich
 detaillierte haptische Interaktion mit Blick
auf die eigenen Hände relevant
(wg. Akkomodationskonflikt vor der
Powerwall schwierig) simulierte 360°-
Umgebung
für das
militärische
Training
14
Bild: NASA
Training für
Wartungsarbeiten in
der Raumfahrt mit
einem HMD
Bild: NPSNET
Bild: NIAR
Training von
Wartungs- und
Inspektionstätig
keiten in der
Raumfahrt
Einsatzfelder

VDC-Whitepaper
Einsatzfelder Datenbrillen
 Datenbrillen: Großteil der natürlichen Sicht unbehindert
 im Allgemeinen kleinere Displayfläche (als HMDs)
 im Allgemeinen geringere Auflösung des Displays (als HMDs)
 zumeist andere Verwendung als Head Mounted Displays:
Zusatzanzeige von Computer-generiertem Content beim
Aufenthalt in natürlichen Umgebungen (z. B. Arbeit, Freizeit, Reise)
 Content häufig symbolisch, Piktogramm, alphanumerisch wg.
Auflösung und Größe des Displays
 bei High-End-Produkten im Marktsegment Augmented-Reality-
Anwendungen möglich
 Vorteil gegenüber Tablet Computern: hands-free
15
Einsatzfelder

VDC-Whitepaper
Einsatzfelder Datenbrillen: Prozess-Unterstützung
Zusatzinformationen während des Arbeitsprozesses.
Ansätze:
 aktiver Abruf von Content;
Zusammenspiel mit Hand Held, etwa Logistikpad
 location-based (z.B. RFID-Bezug)
 ortssensitive Annotationen
 Anzeige Messdaten
 Anzeige Prozessparameter
 „Röntgenblick“: Anzeige verborgener Objekte
Bild: Boeing
Bild: Fh-IGD
Bild: Nee
Versuche zur AR-gestützten
Kabelkonfektionierung
Anfang der 1990er Jahre
AR-Röntgenblick auf in
der Wand verborgene
Infrastruktur wie z.B.
elektrische Leitungen
Überblenden
Online-Prozessdaten
auf Werkstück
16
Bild: NASA
Blick des Raumfahrers
auf vor ihm liegende
Wartungsarbeit.
AR-Unterstützung per
ortsrichtiger Annotationen
Einsatzfelder

VDC-Whitepaper
Einsatzfelder Datenbrillen: Teleservice / Tele-Operations
Verbindung von Servicekraft und zentraler Technik
 Servicekraft teilt ihre Perspektive (Kamera) mit
zentraler Technik
 zentrale Technik bringt Hinweise und kann diese
verorten (Anzeige im Display mit AR)
Bild: Re‘flekt
Bild: Fh-IPA
frühe Idee der
Fernsteuerung eines
Roboters mittels seines
virtuellen Pendants, der
seinerseits über VR
manipuliert wird.
(Anfang der 1990er Jahre)
17
Einsatzfelder

VDC-Whitepaper
Einsatzfelder Datenbrillen: Konsistenz-Checks Modell vs. Realität
Überprüfung digitales Modell
 Simulation korrekt?
 Konstruktion korrekt?
Bild: Volkswagen
Bild: metaio
Bild: HLRS
Überlagerung digitales
Crashmodell über
Versuch: wie gut ist das
Modell?
Überlagerung
Leitungskonstruktion
über physisches Bauteil:
gut konstruiert?
Überlagerung digitales
Strömungsmodell über
Versuch: wie gut ist das
Modell?
18
Einsatzfelder

VDC-Whitepaper
Einsatzfelder Datenbrillen: Konsistenz-Checks Modell vs. Realität
Überprüfung reale Umwelt
 umgesetzt wie geplant?
 dokumentiert wie umgesetzt?
 Qualitätssicherung
 Prototyping
Bild: metaio
Bild: Volkswagen
Bild: Volkswagen
Überprüfung der
gesetzten
Schweißbolzen:
realisiert wie geplant?
Überprüfung von
Anordnung und
Fördertechnik:
kollisionsfrei für neue
Einbringungen?
Überprüfung eines
Industriearbeitplatzes:
alles im Greifraum(rot)?
19
Bild: VolkswagenBild: Volkswagen
Einsatzfelder
Einplanung neuer Fertigungseinrichtungen
(konstruiert, farbig) in Bestandsfabrik

VDC-Whitepaper
Einsatzfelder Datenbrillen: kollaborative Arbeitsräume
 über gemeinsames Tracking kann
übergreifender AR-Arbeitsraum
hergestellt werden
 individuelle Perspektive
 Unterstützung lokaler
Zusammenarbeit
 natürliche Sicht auf die
jeweils anderen Personen
(Gestik, Mimik, Diskussion, …)
Bild: TU Wien
Gemeinsamer AR-Arbeitsraum
mittels Head Mounted Displays
20
Einsatzfelder

VDC-Whitepaper
Entwicklungsrichtungen: eingesetzte Displaytypen
 in bisherigen HMDs (bis 2012) ab
SXGA-Auflösung fast nur Einsatz von
Microdisplays zweier Hersteller
 Virtual Retinal Displays
(Projektion auf Netzhaut)
 seit 2012: Smartphone-Displays
als zusätzliche Bildquelle
21
Hersteller Microdisplays:
Hersteller Technologie
eMagin Corp. OLED
Epson LCD
Forth Dimension Displays fLCOS, ForthDD
Hitachi LCD
Micro Display Corp [Geschäftstätigkeit eingestellt]
Olightek Amoled
Planar Systems [Geschäftsbereich abgegeben]
Reflection Technology [Geschäftstätigkeit eingestellt]

VDC-Whitepaper
22
Technische Spezifikationen bisheriger „alter“ HMDs
Hersteller Modellname Auflösung
horizontal
Auflösung
vertikal
Winkel-
auflösung
Sichtfeld
horizontal
Sichtfeld
vertikal
Preis
grob
aktualisiert Gewicht Tracking Technologie
Carl Zeiss Cinemizer
870 500 1,8 26 15
€ 650,- mit
Tracker
2014 200g
Orientierung
3DOF
OLED
CyberMind Visette45 SXGA 1280 1024 1,7 36 27 kA 2014 kA nein FLCoS
HiRes800 800 600 1,7 22 14 $ 3.800,- 2014 700g nein LCD
eMagin X800 3D Visor 800 600 2,4 32 24 kA 2006 nein
Z800 3D Visor 800 600 2,4 32 24 $ 1.700,- 2014 230g nein OLED
Epson Moverio 960 540 1,4 23 17 € 500,- 2014 244g nein LCD
Fifth Dimension
Technologies
5DT HMD 800-40 3D 800 600 2,4 32 24 $ 2.900,- 2014 600 g nein OLED
5DT HMD 800-26 3D 800 600 1,6 21 16 $ 2.900,- 2014 600 g nein LCoS
iO Display Systems i-glasses PC/SVGA-3D Pro 800 600 1,6 21 16 kA 2006 nein kA
Kaiser Electro-Optics Inc. ProView SR80 1280 1024 3,0 63 53 kA 2005 nein kA
nVision / NVIS nVisor ST50 1280 1024 1,9 40 30 kA 2014 1050g nein OLED
nVisor SX 1280 1024 3,6 76 64 kA 2014 1300g nein LCoS
Rockwell Collins ProView VO35 800 600 2,1 28 21 kA 2006 kA nein kA
Proview XL50 1024 768 2,3 40 30 kA 2006 kA nein kA
ProView XL50 STm 1024 768 2,0 34 26 kA 2006 kA nein kA
Sim Eye SR100 1280 1024 4,7 100 50 kA 2006 kA nein kA
SaabTech Saab AddVisor 150 1280 1024 1,7 37 28 kA 2004 kA nein kA
Sensics piSight 2600 1200 4,2 180 60 kA 2014 1000g nein OLED
xSight 1680 1050 3,7 104 65 kA 2014 400g nein OLED
SEOS SEOS HMD 120/40 1280 1024 5,6 120 67 kA 2006 kA nein kA
Silicon Micro Display ST1080 1920 1080 1,4 45 17 kA kA kA nein LCoS
Sony HMZ-T1 1280 720 2,1 45 34 $ 799,- 2014 330g nein OLED
HMZ-T2 1280 720 2,1 45 34 $ 894,- 2014 320g nein OLED
Trivisio VRvision HMD 800 600 2,5 33 25 kA 2014 300g nein AMLCD
Virtual Realities VR2200 1024 768 2,2 38 24 $ 1.300,- 2014 200g nein kA
HMD Pro 3D SVGA-42 800 600 2,7 36 23 $ 4.000,- 2014 kA nein OLED
HMD Pro 3D SXGA-50 1280 1024 2,0 43 27 $ 8.500,- 2014 kA nein OLED
HMD Pro 3D WUXGA-60 1920 1080 1,6 51 32 $ 10.500,- 2014 kA nein OLED
Virtual Research Systems V8 640 480 4,7 50 38 kA 2004 kA nein kA
VR4 480 240 6,0 48 36 kA 2005 kA nein kA
VR1280 1280 1024 2,3 48 36 kA 2014 kA nein FLCoS

VDC-Whitepaper
Technische Spezifikationen bisheriger „alter“ HMDs
Gängige Eigenschaften
 durchschnittliches Sichtfeld: 60°
 Auflösung: SXGA (1280x1024)
 durchschnittliches Gewicht: 1kg
 nur bedingt in Form einer Brille erhältlich
(wäre Kundenwunsch)
 durchschnittlicher Preis: € 15.000,-
(rangiert von € 500,- bis € 160.000,-.)
23
Stark abweichende HMD-Systeme :
Auflösung
 Sensics piSight: 2600 x 1200 Pixel
 Sensics xSight: 1680 x 1050 Pixel
 Virtual Realities HMD
pro 3D WUXGA-60 : 1920 x 1080 Pixel
Sichtfeld
 Rockwell Collins
Sim Eye SR 100: 100°
 Sensics piSight: 180°
 Sensics xSight: 104°
 SEOS HMD 120/40: 120°

VDC-Whitepaper
Neue und angekündigte HMDs(April 2015)
24
AntVR Avegant Glyph
Durovis Dive GameFace InfinitEye
Altergaze
Oculus Rift 2 Sulon CortexSony Morpheus Technical Illusions CastAR
VRVANA TotemValve HMD vrAse
Samsung GearVR
Carl Zeiss VR OneArchos VR Glasses
Google CardboardFOVE VR Headset

VDC-Whitepaper
25
Neue und angekündigte HMDs(April 2015)
Hersteller Modellname Auflösung
horizontal
Auflösung
vertikal
Winkel-
auflösung
Sichtfeld
horizontal
Sichtfeld
vertikal
Preis grob Gewicht Tracking Kommentar
AntVR AntVR 960 1080 6,3 100 75 $ 300,- integriert
Archos VR Glasses Smartphone-Halterung mit Optik € 25,- Smartphone Smartphones bis 6 Zoll
Avegant Glyph 1280 800 2,1 45 29 $ 500,- 450 integriert
Befestigung Art Kopfhörer,
pixelfreies Bild durch Retinaldisplay
Carl Zeiss VROne Smartphone-Halterung mit Optik € 100,- Smartphone
nur für iPhone 6, Samsung Galaxy
S5
Durovis Dive Smartphone-Halterung mit Optik € 60,- Smartphone
FOVE VR Headset kA kA kA 45 kA kA kA kA integriertes Eye Tracking
GameFaceLabs GameFace 1280 1440 kA kA kA $ 500,- integriert
LCD, kabellos, Low-Persistence-
Technologie
Google Cardboard Smartphone-Halterung mit Optik $ 10,- Smartphone Gehäuse aus Pappe
InfinitEye
Gründerteam
InfinitEye 1280 800 9,8 210 150
$ 450,-
(Bausatz)
490 nein Fresnel-Linse
Liviu Berechet
Antoni
Altergaze Smartphone-Halterung mit Optik € 60,- Smartphone
Oculus / Facebook Rift 2 960 1080 6,9 110 90 $ 350,- 400 integriert
OLED, sattere Farben,
Low-Persistence-Technologie
Samsung GearVR Smartphone-Halterung mit Optik $ 200,- Smartphone
Sony Morpheus 960 1080 5,6 90 68 $ 300,- integriert LCD
Sulon Cortex 140 105 integriert Augmented-Reality-fähig
Technical Ilusions Cast AR 1280 720 4,2 90 68 $ 200,- integriert Augmented-Reality-fähig
VRVANA Totem 960 1080 5,6 90 68 kA integriert
OLED, Augmented-Reality-fähig,
Valve HMD Prototyp kA kA kA 110 83 angekündigt
vrAse vrAse Smartphone-Halterung mit Optik € 60,- Smartphone Augmented-Reality-fähig

VDC-Whitepaper
Neue und angekündigte HMDs : Firmen
 angekündigte
HMD-Hersteller:
Kickstarter:
 Oculus: 2,4 Mio$
 Avegant: 1,5 Mio$
 Technical Illusions: 1,0 Mio$
 Meta: 0,2 Mio$
 Oculus wurde im März 2014 für 2 Milliarden $ von der Fa. Facebook aufgekauft
26
Nr.Firmenname Ort Land Webseitenadresse
1AntVR Technology Peking China http://www.antvr.com
2Avegant Ann Arbor USA http://www.avegant.com
3Durovis Münster Deutschland http://www.durovis.com
4FOVE Japan http://fove-inc.com
5GameFace Labs San Francisco USA http://gamefacelabs.com
6InfinitEye-Gründerteam Toulouse Frankreich https://www.facebook.com/InfinitEyeVR
7Liviu Berechet Antoni London Großbritannien https://www.facebook.com/altergaze
8Meta Los Altos USA https://www.spaceglasses.com/
9Oculus / Facebook Irvine USA http://www.oculusvr.com
10Sulon Markham Kanada http://sulontechnologies.com
11Technical Illusions Woodinville USA http://technicalillusions.com
12True Player Gear Outremont Kanada http://www.trueplayergear.com
13Valve Bellevue USA http://www.valvesoftware.com
14vrAse Edinburgh Großbritannien http://www.vrase.com/

VDC-Whitepaper
Datenbrillen – Produkte(April 2015)
27
Epson Moverio BT100 Google Glass ION Glass
Meta One
Recon Jet
Atheer One
Samsung Galaxy Glass Vuzix m2000ARVuzix m100 SafetyVuzix M100
Epson Moverio BT200
Meta Pro Microsoft HoloLens OptInvent ORA-1Lumus OE-32

VDC-Whitepaper
Datenbrillen – Produkte(April 2015)
28
Hersteller Modellname Anzahl
Displays
Auflösung
horizontal
Auflösung
vertikal
Winkel-
auflösung
Sichtfeld
horizontal
Sichtfeld
vertikal
Preis grob Gewicht Tracking Kommentar
Atheer One 2 1024 768 3,0 52,0 39,0 $ 500,- 70g nein 2 x 8MP cameras
Epson Moverio BT100 2 960 540 1,2 18,4 13,8 $ 700,- 240 nein LCD, Audio
Epson Moverio BT200 2 960 540 1,2 18,4 13,8 € 700,- 124
Kompass, Gyro, Beschleunigung;
GPS in Controller
LCD, Audio
GlassUp eyeGlasses 1 320 240 k.A. k.A. k.A. $ 300,- k.A. Accelerometer, Kompass Helligkeitssensor
Google Glass 1 640 360 1,2 12,5 9,4 $ 1500 54g
Beschleunigung, Gyro, Kompass,
Eyetracker, Näherungssensor,
Lagesensor
Audio, LCoS,-Display,
Touchpad, Mikrofon,
Kamera,
Helligkeitssensor
ION Glass 1
Mehrfarben-
LED
k.A. k.A. k.A. k.A. $ 100,- nein
Statusanzeige für
Smartphone
Lumus DK-32 2 1280 720 0,9 20,0 15,0 k.A. k.A. nein Entwicklermodul
Lumus DK-40 1 640 480 k.A. k.A. k.A. k.A. k.A. 9DOF-IMU Kamera; Entwicklermodul
Lumus OE-32 1 1280 720 1,5 32,0 24,0 k.A. 26g nein
nur Optikmodul für
Entwickler
Lumus PD-18 1 800 600 1,9 25,6 19,2 k.A. 70g nein
nur Optikmodul für
Entwickler
Meta One 2 960 540 1,8 28,0 21,0 $ 667 283g 9DOF-IMU
1 x Tiefenkamera, 2 x
RGB-Kamera, Dolby 3D
Audio
Meta Pro 2 1280 720 1,5 32,0 24,0 $ 3000 180g 9DOF-IMU
1 x Tiefenkamera, 2 x
RGB-Kamera, Dolby 3D
Audio
Microsoft HoloLens bislang nur Ankündigung
Optinvent ORA-1 1 640 480 3,6 19,2 14,4 [presales] 80g 9DOF-IMU, GPS Audio
Recon Jet 1 432 240 2,4 17,1 9,6 $ 599 60g
Beschleunigung, Gyro,
Magnetometer, GPS
Audio, Altimeter,
Barometer, Thermometer
Samsung Galaxy Glass [bislang nur Ankündigung/Gerüchte]
Vuzix
M100,
M100 Safety
1 432 240 1,8 13,1 7,3 $999 k.A. 9DOF-IMU, GPS, Näherungssensor
Kamera,
Helligkeitssensor
Vuzix m2000AR 1 1280 720 1,2 26,1 14,7 $6.000 k.A. 9DOF-IMU 1 x 5MP Kamera

VDC-Whitepaper
 Technologie der Fa. Valve
für OLED-Displays
 Reduktion Nachzieh-Effekte des Displays
(Verwischen) bei Bewegungen
 Kopfbewegungen schnell: auch bei
Bildwiederholfrequenz von 60 Hertz
kann Display nicht rechtzeitig
aktualisiert werden
 Nutzer sieht für kurze Zeit
(60 Hertz: 16 Millisekunden)
Objekt an falscher Stelle.
 statt Frame so lange anzuzeigen, bis nächstes Frame geladen ist und es ersetzt, leuchten die
Pixel bei "Low Persistence" nur für einen kurzen Augenblick auf und bleiben für die restliche
Zeit dunkel
 damit dieser Strobing-Effekt dem Nutzer nicht auffällt, ist eine höhere Frequenz notwendig
 Tests bestätigten gestiegene Bildqualität
Bild: Oculus
Vergleich Low Persistence – Full Persistence
29

VDC-Whitepaper
Nvidia GameWorks VR
 Sammlung von Hardware- und Software-
Technologien für das stereoskopische Echtzeit-
Rendering
 VR SLI: Aufteilung GPUs nach Augen (nicht Frames)
 Multi Resolution Shading: geringere Auflösung in
verzerrten (& geschrumpften) Randbereichen
 Timewarp: Kopfposition auslesen; auf dieser Basis
gerade gerendertes Bild warpen
=> starke Reduktion Latenz
Bild: Nvidia
Bild: Nvidia
Warping
Multi
Resolution
Shading
30
Bild: Nvidia Timewarp

VDC-Whitepaper
Integriertes Tracking: 9-DOF-IMUs
 Miniaturisierung, Präzisionssteigerung und Preisverfall:
Bedeutungssteigerung der Inertialsensoren (engl. inertial
measurement unit - IMU) für das Tracking
IMU-Messeinheiten beinhalten folgende Sensorarten:
 3 orthogonal angeordnete Beschleunigungssensoren
(Translationssensoren): lineare Beschleunigung in x-, y-
z-Achse. Translation durch zweimaliger Integration.
 3 orthogonal angeordnete Drehratensensoren
(gyroskopische Sensoren) : Winkelgeschwindigkeit um
x-, y-, z-Achse. Rotation mit einfacher Integration.
 Zur Bestimmung der Integrationskonstanten, zur
Verbesserung der Genauigkeit und Korrektion der Drift
der o.g. Sensoren: zusätzliche Sensoren, z.B.
Magnetfeldsensoren (Kompasssensoren) und
GNSS-Sensoren.
Bild: SEIKO Epson
Bild: Sparkfun
IMU V340 der
Fa. SEIKO Epson
IMU Razor der
Fa. Sparkfun
31

VDC-Whitepaper
Integriertes Tracking
Mehrere Mess-Prinzipien und -Systeme im Einsatz:
 9DOF-IMUs
 externe Kameras, die IR-Lichtquellen
am HMD tracken
 Kameras am HMD, die externe
IR-Lichtquellen in der Umgebung tracken
 Tiefenbildkameras zum Scannen der
Realumgebung, fortwährende Referenzierung
 hybrider Ansätze: zumeist 9DOF-IMU in
Kombination mit optischen Verfahren für
schnelles wie auch absolutes 6-DOF-Tracking
Bild: Oculus
Bild: True Player Gear
Bild: Sony
IR-LEDs und
externe Kamera
2 Kameras an der
Frontseite des HMDs
IR-LEDs an Rückseite
des HMDs für
360°-Drehung
32

VDC-Whitepaper
33
Integriertes Tracking: HMDs und Spielekonsolen
Firmenname Webseitenadresse Produktname Prinzip DOF Arbeitsraum Abtastrate
AntVR http://www.antvr.com AntVR 2 x 9DOF-IMUs 6 nur Relativtracking 1000 Hz
Avegant http://www.avegant.com Glyph 9DOF-IMU 3 nur Relativtracking 1000 Hz
Carl Zeiss http://www.zeiss.com Cinemizer 9DOF-IMU 3 nur Relativtracking 1000 Hz
GameFaceLabs http://gamefacelabs.com GameFace 9DOF-IMU 3 nur Relativtracking 1000 Hz
Immersight http://www.immersight.de/ Immersight externe Kamera mit Mustererkennung
des passiven Tracking-Targets
6 3m 60 Hz, bei anderer
Kamera bis 330 Hz
Meta https://www.spaceglasses.com/ SpaceGlasses 9DOF-IMU 3 nur Relativtracking 1000 Hz
Microsoft www.microsoft.de
Kinect
externe Kamera und
Tiefenbildkamera
Auflösung Kameras 640x480
Motion
Capturing
3,5 m 30Hz
Nintendo http://www.nintendo.de
wii
optisch (Infrarot-Kamera in
Controller) und
Beschleunigungssensoren
Auflösung Kamera
1024 x 768 bei 45°
Öffnungswinkel
6 1-3 m
Sensor 100Hz,
Bluetooth-Abfrage
aber nur 50 Hz
Oculus http://www.oculusvr.com Rift 2 9DOF-IMU und externe Kamera;
IR-LEDs vorne auf dem HMD, 360°-Tracking
6 Zimmer 1000 Hz
Sony http://www.sony.de Morpheus 9DOF-IMU und externe Kamera, IR-LEDs
vorne und hinten auf dem HMD, 360°-Tracking
6 Zimmer 1000 Hz
Sony http://www.sony.de
Playstation Move
optisch (externe Kamera),
Gyroskop, Neigungs-
winkelmesser
640 x 480 @ 60 Hz
320 x 240 @ 120 Hz bei
56° - 75° Öffn.-Winkel
6 5 m
60 Hz oder 120 Hz
je nach Auflösung
Sulon http://sulontechnologies.com Cortex 9DOF-IMU und Tiefensensor auf HMD
scant Umgebung und referenziert in ihr
6 Zimmer optisch: 50 Hz
Technical Ilusions http://technicalillusions.com CastAR Trackingkamera in Brille, die IR-LEDs
in Umgebung trackt
6 Zimmer kA
True Player Gear http://www.trueplayergear.com Totem 2 Kameras an der Frontseite des HMDs,
die Umgebung referenzieren
6 Zimmer kA
Valve http://www.valvesoftware.com Valve HMD 2 Kameras vorne und hinten auf HMD
zur Umgebungs-/ Mustererkennung
6 Zimmer kA

VDC-Whitepaper
Integriertes Tracking: Eye Tracking
Nutzen für:
 Usability-Untersuchungen
 Design-Entscheidungen
 Aufmerksamkeitsanalysen
HMD-integrierte Eye-Tracking-Lösungen:
 2011: Google-Patent für Eye Tracking
in Google Glass
 Lösungen:
- FOVE VR Headset
- SensoMotoric Instruments (SMI) für Oculus
- Arrington Research für HMDs von Sony,
Oculus, Sensics, CyberMind, Virtual Realities
Bild: Arrington Research
Getracktes Auge
Heat Map, erzeugt
über Eye Tracking
Hardware-technischer
Aufbau
34

VDC-Whitepaper
Virtual Retinal Displays (VRDs)
 direkte Projektion auf die Netzhaut
Weiterentwicklung der VRD-Technologie, v.a.
 Leuchtdioden in den RGB-Grundfarben erhältlich
 gestiegene Lichtleistung der LEDs
Vorteile:
 Platzbedarf
 Helligkeit (See-Through auch bei Tageslicht)
 Energieverbrauch
 keine Fokussierung des Auges notwendig
 geeignet auch für Leute mit Sehschäden
 Beispiel: HMD Avegant Glyph
Bild: Fiambolis,
Bild: Avegant
Bild: Fh-IFF
Funktionsschema
eines Retinaldisplays
HMD „Glyph“
Blick in die Anzeige
eines Retinaldisplays
35

VDC-Whitepaper
Lichtfeldkameras (plenoptische Kameras)
Funktionsweise
 konventionelle Kamera erfasst 2D-Bild
 plenoptische Kamera erfasst dazu Richtung
 für Lichtfeldmessung: Gitter aus mehreren
Mikrolinsen vor dem Bildsensor
Vorteil
 maximale Schärfentiefe sehr hoch
 kein Fokussiervorgang
 Fokusebene nachträglich anpassbar
 Tiefeninformationen ermittelbar
Nachteile
 Kosten
 2D-Auflösung 4MP eher gering
Bild: Adobe
Bild: Lytro
Bild: Raytrix
Adobe-Prototyp einer
Lichtfeldkamera
Lytro M01,
Lytro Illum
Lichfeldkamera
der Fa. Raytrix
36
Bild: Lytro

VDC-Whitepaper
37
Die Universität Stanford
wendet die Lichtfeld-Technik
nun auf Head Mounted Dispalys
an, um das Akkomodations-
problem von HMDs zu lösen

VDC-Whitepaper
Integration Tiefenbildsensoren
Produkte und Ankündigungen
 Microsoft Kinect
 Google Projekt Tango
 Leap Motion
 Intel Real Sense 3D
 Primesense Carmine
 ASUS Xtion Pro Live
 Meta Space Glasses
 PMD
 Sony Playstation 4 Camera
 Softkinetics
 Mantis Vision
Primesense
Meta
PMD
Google Tango
Leap
Asus
Softkinetics
Sony
38

VDC-Whitepaper
Ermöglichung Selbstwahrnehmung
 Erfassung des eigenen Körpers
(Rumpf, Hände,…) mit
Tiefenbildsensoren anstatt mit
Datenhandschuhen und/oder Motion
Capturing
Aufhebung Isolation von der Umwelt
 Benutzer sieht die dynamische
Umwelt und kann mit dieser
interagieren
 Misch-Szenen real-virtuell möglich
Bild: Dassault Systèmes
dynamische 3D-Szene
aus dem 3D-Scan
einer Kinect und
modellierten 3D-Objekten
(hier: Fahrrad)
Sicht eines HMD-Trägers
auf die 3D-Scan-
Punktewolke seiner
eigenen Hände und
weiteren
Umgebungsdaten
39
Bild: Dassault Systèmes

VDC-Whitepaper
Erfassung der Bewegungen, Gestik des Benutzers
 Interaktion: Laufen, Greifen, Dinge bewegen, ..
Extraktion von Objekten aus Szene (Nahes, Weites)
 Aufbau Misch-Szenen zur Präsentation
im Head Mounted Display
Verdeckungsberechnung für Augmented Reality
 graphische Objekte, die eigentlich von realen
(partiell) verdeckt sein müssten, dürfen nicht
gezeichnet werden. Die dafür erforderliche
Verdeckungsberechnung benötigt ein aktuelles
3D-Abbild der Realität
Bild: David Nahon/DS
Bild: Quaternion Software
Person mit HMD wird mit
der Kinect gescannt und
kann so interagieren. Hier:
Bedienung eines Stellrads
mit den Händen, Laufen
reale Person in kurzer
Distanz in Echtzeit aus
3D-Scan extrahiert
40
Bild: Fh-IGD
gezeichnetes Einbauteil
(violett) verschwindet
teilweise hinter Blech
(schwarz). Dazu muss der
Rechner Blech und Einbau-
teil gegeneinander auf
Verdeckung prüfen

VDC-Whitepaper
Abschlussbemerkungen: Einschätzungen
 der Markt für HMDs und für Trackingsysteme
wird sich in den kommenden 5 Jahren (weiter)
sehr stark verändern
 Markets and Markets:
- globaler HMD-Markt bei $12,28 Milliarden
im Jahr 2020
- jährliche Wachstumsrate 2014-2020: 57%
 Einsatzmöglichkeiten guter HMDs und
Datenbrillen enorm (v.a. Support, Service,
Innenraum-Begehungen, Training)
 Einschränkungen der Fähigkeit zur Kooperation
sind reduzierbar
41
Zusammenfassung

VDC-Whitepaper
Literatur
 Bayer, Michael M.: Introduction to Helmet
Mounted Displays. In: Rash, Clarence E. (Ed.):
Helmet-mounted displays : sensation, perception,
and cognition issues, S. 47-108, U.S. Army
Aeromedical Research Laboratory, 2009
 Bundesanstalt für Arbeitsschutz und
Arbeitsmedizin: Datenbrillen - Aktueller Stand von
Forschung und Umsetzung sowie zukünftiger
Entwicklungsrichtungen. Workshop vom 20. Juni
2011, Dortmund, 2011
 Gross, Frank: Head Mounted Displays für den
professionellen Einsatz: Stand der aktuellen
Produkte am Markt. In: Displaytrends 2013 - Head
Mounted Displays, Datenbrillen & Co, Workshop
am Virtual Dimension Center Fellbach, Fellbach,
14.03.2013
 Li, Hua et. al.: Review and analysis of avionic
helmet-mounted displays. In : Optical Engineering
52(11), 110901, November 2013
42
 N.N.: Head Mounted Display (HMD) Market by
Products (Helmet Mounted, Wearable Glass),
Components (Micro display, Camera, control unit,
Tracker, Accessories), Applications (Defense,
industrial, Video Gaming) & Geography - Global
Analysis and Forecast to 2020, Markets and
Markets, Mai 2014
 N.N.: Global Head-mounted Display Market,
TechNavio, Januar 2013
 N.N.: Head Mounted Display (HMD) Market
Analysis By Product (Helmet Mounted Display,
Wearable Glass), By End-Use (Defense, Consumer),
By Application (Imaging, Security, Tracking, Training
& Simulation) And Segment Forecasts To 2020,
Grand View Research, Oktober 2014
Zusammenfassung

VDC-Whitepaper
Links
 http://www.stereo3d.com/hmd.htm
Bungert, Christoph: HMD/headset/VR-helmet Comparison Chart, abgerufen am 20.6.2014
 http://www.vrbrillen.net
Kovshenin, Konstantin: VR Brillen. Head Mounted Display – Der nächste Quantensprung in
Gaming und Film, abgerufen am 20.6.2014
 http://www.roadtovr.com/head-mounted-display-hmd-vr-headset-comparison/
Road to VR: HMD Comparison. Head Mounted Display (HMD) / VR Headset Comparison
Chart, abgerufen am 20.6.2014
 http://www.vdc-fellbach.de/wissen/vr-hardware/head-mounted-displays
Runde, Christoph: Head Mounted Displays & Datenbrillen, abgerufen am 20.6.2014
 http://www.vrnerds.de/hardvr/96-2/
Uthe, Nico, et al.: VR-Nerds a Virtual Reality Showcase: Head Mounted Displays, abgerufen
am 20.6.2014
43
Zusammenfassung

VDC-Whitepaper
Mitglieder im Thema:
44
Zusammenfassung

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC
Sie interessieren sich für das Thema und benötigen einen kompetenten
Ansprechpartner?
Sprechen Sie gerne mit uns.
Virtual Dimension Center (VDC) Fellbach
Auberlenstr. 13
70736 Fellbach
www.vdc-fellbach.de
Tel.: 0711 / 58 53 09 – 0
E-Mail: info@vdc-fellbach.de

Head Mounted Displays & Datenbrillen: VDC-Whitepaper

Recomendados

Recomendados

Mais conteúdo relacionado

Destaque

Destaque (20)

Semelhante a Head Mounted Displays & Datenbrillen: VDC-Whitepaper

Semelhante a Head Mounted Displays & Datenbrillen: VDC-Whitepaper (20)

Mais de Virtual Dimension Center (VDC) Fellbach

Mais de Virtual Dimension Center (VDC) Fellbach (20)

Head Mounted Displays & Datenbrillen: VDC-Whitepaper