Seminario tecnico del 25 febbraio 2014 realizzato da Romagna Innovazione in collaborazione con il Gruppo di Lavoro Ricerca e Sviluppo di Unindustria Forlì-Cesena

1. REALTÀ AUMENTATA:
TECNOLOGIE ED APPLICAZIONI
25 Febbraio 2014
Ing. Massimiliano Fantini, PhD
Project Manager e Ricercatore
@. massimiliano.fantini@romagnainnovazione.it
RInnova - Romagna Innovazione Soc. Cons. a R.L.
C.so Garibadi, 49 - 47121 Forlì (Italy)
t. +39 0543 32087 - f. +39 0543 33445
w. www.romagnainnovazione.it
© 27/02/2014 – ROMAGNA INNOVAZIONE; FOR DISCUSSION PURPOSES ONLY: ANY OTHER USE OF THIS PRESENTATION - INCLUDING
REPRODUCTION FOR PURPOSES OTHER THAN NOTED ABOVE, MODIFICATION OR DISTRIBUTION - WITHOUT THE PRIOR WRITTEN
PERMISSION OF ROMAGNA INNOVAZIONE IS PROHIBITED

2. Augmented Reality
• Definizioni
• Principi di funzionamento
• Tecnologie coinvolte
• Campi di applicazione
• Elementi da considerare

3. Augmented Reality
DEFINIZIONI
 La Realtà Aumentata (in inglese Augmented Reality – AR) può essere
definita come la capacità di sovrimporre alla realtà osservata dal
soggetto un insieme di informazioni aggiuntive, generate da un computer,
relative al contesto.
 Le informazioni aggiuntive possono consistere in:
– oggetti virtuali posti nell’ambiente reale
– informazioni relative ad oggetti reali

4. Augmented Reality
DEFINIZIONI
Augmented Reality Timeline

5. Augmented Reality
DEFINIZIONI
Virtual Reality (VR) vs Augmented Reality (AR)
Augmented Reality
Virtual Reality
VS
La Realtà Virtuale (Virtual Reality)
rappresenta un ambiente
tridimensionale modellizzato al
calcolatore e percepito attraverso una
interazione uomo-macchina basata sui
naturali mezzi di comunicazione
A differenza della Virtual Reality,
l’Augmented Reality si riferisce a
situazioni nelle quali l’obiettivo è
integrare la percezione dell’utente di
un mondo reale attraverso l’aggiunta
di dati digitali

6. Augmented Reality
DEFINIZIONI
Virtual Reality (VR)
 Affinché l’utente di un sistema abbia la sensazione che gli oggetti
che popolano l’ambiente virtuale siano reali è possibile
implementare tre livelli di percezione:
visivo, acustico e tattile
“un mezzo composto da simulazioni
interattive tramite computer che
percepiscono la posizione e le azioni
dell’utente e sostituiscono o aumentano
il feedback di uno o più sensi, dando
l’impressione di essere mentalmente
immersi o presenti nella simulazione”
"As far as I know, no one seriously proposes computer displays of smell or taste"
Ivan Sutherland in 1965 paper, "The Ultimate Display"

7. Augmented Reality
DEFINIZIONI
Interazione reale
AMBIENTE
REALE
SEGNALI DAL MONDO
REALE
INTERPRETAZIONE DEI SEGNALI
ATTRAVERSO I SENSI
PERCEZIONE AMBIENTALE
REALE
INTERAZIONE CON
L’AMBIENTE REALE
•L’uomo percepisce l’ambiente
reale che lo circonda attraverso i
suoi cinque sensi, con i quali “si è
costruito un modello di mondo
dopo anni di esperienza”
•Il soggetto “interagisce con il
mondo reale attraverso
l’interpretazione di segnali di
input usando il suo modello che,
nel dettaglio, è differente da
individuo ad individuo”
•Se l’insieme dei segnali di input
trasmessi dai sensi è in grado di
mantenere il processo di
interpretazione con risultati
coerenti, si ha la corretta
percezione dell’ambiente reale
circostante

8. Augmented Reality
DEFINIZIONI
Interazione virtuale
AMBIENTE
VIRTUALE
SEGNALI DAL MONDO
VIRTUALE
INTERPRETAZIONE DEI SEGNALI
ATTRAVERSO I DISPOSITIVI DI INTERFACCIA
PERCEZIONE AMBIENTALE
VIRTUALE
INTERAZIONE CON
L’AMBIENTE VIRTUALE
•L’ utente viene isolato
dall’ambiente reale che lo
circonda, impedendogli di
ricevere degli stimoli sensoriali
naturali e, contemporaneamente,
attraverso un sistema
computerizzato gli vengono
forniti segnali di input
•Questa non è solo una realtà di
sintesi, ma un mondo effettivo in
cui l’utente non è semplice
spettatore passivo, bensì parte
determinante dell’insieme con
cui interagisce
•Sono quindi necessari dispositivi
di interfaccia uomo-macchina
capaci di stimolare in modo
opportuno i sensi

9. Augmented Reality
DEFINIZIONI
Mixed Reality
Reality
Augmented
Reality
Augmented
Virtuality
Virtual
Reality
Reality-Virtuality (RV) Continuum
“Mixed Reality”
“...anywhere between the extrems of the virtuality continuum” (Paul Milgram)
Mixed reality includes augmented reality (AR), augmented
virtuality (AV), and other mixed configurations

10. Augmented Reality
DEFINIZIONI
•
•
•
•
Mixed Reality (MR)
Virtual Reality (VR)
Augmented Reality (AR)
Augmented Virtuality (AV)
La Mixed Reality (MR) è un termine che viene usato per rappresentare l’intero
spettro di situazioni che spaziano dall’ambiente reale all’ambiente virtuale
L’Augmented Virtuality (AV) descrive i contesti in cui entità reali sono inserite
in un ambiente generato dal computer e rappresenta sistemi che tipicamente
includono input reali multi-sensoriali che integrano l’ambiente virtuale

11. Augmented Reality
DEFINIZIONI
Head Up Display (HUD)
“Augmented experiences using the Head-Up Display
pattern add information about the real objects in
view into a complete mixed-reality experience…”

12. Augmented Reality
PRINCIPI DI FUNZIONAMENTO
Sovrapposizione informazioni
• Informazioni aggiuntive possono essere visualizzate insieme al contesto reale
in cui l’utente si trova
• In questi casi non c’è però correlazione tra ambiente reale e informazioni
aggiuntive

13. Augmented Reality
PRINCIPI DI FUNZIONAMENTO
Sincronizzazione reale-digitale
• L’ambiente virtuale è completamente digitale e quindi non è necessaria la
sincronizzazione tra questi due mondi, ma serve solo l’interazione con
l’utente
• Nell’ambiente aumentato è invece necessario localizzare in maniera corretta
dove si trova l’ambiente reale per capire dove posizionare contestualmente
la parte digitale

14. Augmented Reality
PRINCIPI DI FUNZIONAMENTO
In funzione delle modalità di sincronizzazione reale-digitale
esistono due tipologie di Augmented Reality:
• Vision-based AR (non geolocalizzata)
• con utilizzo di marker
• con utilizzo di natural marker
• senza utilizzo di marker (markerless)
• Geolocation AR (geolocalizzata)
Augmented
Reality
Marker
Visionbased AR
Natural
marker
Geolocation
AR
Markerless

15. Augmented Reality
PRINCIPI DI FUNZIONAMENTO
Vision-based AR
Geolocation AR
• È basata sull’uso di forme bidimensionali,
disegni o caratteristiche geometriche che
permettono al programma di individuare
la posizione e l’orientamento dell’oggetto
virtuale da sovrapporre all’immagine
reale
• È basata sull’utilizzo di sensori hardware
di posizione (GPS) e di orientamento
(accelerometro e bussola) presenti sul
dispositivo (tipicamente utilizzata su
dispositivi mobili come smartphone e
tablet)

16. Augmented Reality
PRINCIPI DI FUNZIONAMENTO
Vision-based AR con utilizzo di marker
 Queste applicazioni si basano su uno schema consolidato, che prevede un
meccanismo di riconoscimento di un particolare elemento grafico detto
marker (una sorta di codice a barre bidimensionale come il QR code), un
sistema di tracciamento dei movimenti (della webcam o del marker) e un
engine per la creazione e l’animazione di oggetti tridimensionali
 I marker sono degli elementi grafici, su cui è stampato un simbolo
facilmente riconoscibile (anche quando ruotato), che vengono “individuati
e tracciati” attraverso una videocamera

17. Augmented Reality
PRINCIPI DI FUNZIONAMENTO
Vision-based AR con utilizzo di natural marker
 Applicazioni più sofisticate ed evolute sono in grado di compiere le azioni di
sicronizzazione utilizzando al posto di un marker specifico (elemento grafico
o codice a barre bidimensionale) direttamente un’immagine o una figura o
comunque un oggetto bidimensionale, utilizzando tecnologie di image
recognition ormai consolidate nella computer vision
 Questo tipo di applicazioni basate sul riconoscimento effettuato su
immagini è comunemente considerata basata su natural marker

18. Augmented Reality
PRINCIPI DI FUNZIONAMENTO
Vision-based AR senza utilizzo di marker (markerless)
 Applicazioni ancora più sofisticate ed in via di sviluppo sono in grado di
compiere le azioni precedentemente descritte in assenza di marker: al
posto di un elemento grafico o di una immagine bidimensionale, il
riconoscimento viene effettuato direttamente sugli elementi
tridimensionali presenti nell’ambiente, utilizzando tecnologie di geometric
features recognition in via di consolidamento nella computer vision
 Questo tipo di applicazioni basate su immagini è comunemente detta
markerless, proprio in quanto non necessitano di alcun marker

19. Augmented Reality
PRINCIPI DI FUNZIONAMENTO
Principio di funzionamento dei sistemi Vision-based AR
Vision-based AR

20. Augmented Reality
PRINCIPI DI FUNZIONAMENTO
Principio di funzionamento dei sistemi Geolocation AR
Geolocation AR

21. Augmented Reality
PRINCIPI DI FUNZIONAMENTO
Esempi di soluzioni con marker
QR Code (Quick
Response Code)

22. Augmented Reality
PRINCIPI DI FUNZIONAMENTO
Esempi di soluzioni con natural marker

23. Augmented Reality
PRINCIPI DI FUNZIONAMENTO
Esempi di soluzioni markerless

24. Augmented Reality
PRINCIPI DI FUNZIONAMENTO
Esempi di soluzioni geolocalizzate

25. Augmented Reality
TECNOLOGIE COINVOLTE
 Un ambiente di Realtà Virtuale necessita l’utilizzo di strumenti che
permettano di avere interazione con l’ambiente digitale (wearable
computers/werable devices)
 Un ambiente di Realtà Aumentata deve essere fruibile e utilizzabile con
strumenti di interazione meno invasivi
Diverse tecnologie sono utilizzate nel rendering
per la Realtà Aumentata:
- Sistemi di proiezione (projection-based)
- Monitor (monitor-based)
- Hand-held device
- Werable display system

26. Augmented Reality
TECNOLOGIE COINVOLTE
Hand-held device
 Dispositivi portatili che utilizzano un piccolo display e che si adatta alla
mano dell’utente (ad esempio smartphone, tablet, ecc.). Ad oggi, tutte le
soluzioni AR palmari optano per la tecnologia video see-through.

27. Augmented Reality
TECNOLOGIE COINVOLTE
Werable display system: Head-mounted display (HMD)
 Si tratta di un dispositivo di visualizzazione associato ad un auricolare
come un casco. I dispositivi HMD posizionano le immagini sia del mondo
fisico sia degli oggetti virtuali sul campo di vista dell'utente con
tecnologia video see-through.

28. Augmented Reality
TECNOLOGIE COINVOLTE
Werable display system: Eyeglasses
 Display AR possono essere cerati su dispositivi simili ad occhiali. Alcune
versioni includono occhiali che utilizzano telecamere per intercettare la
visione del mondo reale e mostrare poi la sua visione aumentata
attraverso display oculari. Tali dispositivi utilizzano la tecnologia optical
see-through (ad esempio Google Glasses).

29. Augmented Reality
TECNOLOGIE COINVOLTE
Werable display system: Contact lenses
 Sono in sviluppo particolari lenti a contatto per la visualizzazioni di
immagini in AR. Queste lenti a contatto possono contenere gli elementi
per la visualizzazione incorporati nella lente stessa, compresi circuiti
integrati, LED e un'antenna per la comunicazione wireless. . Tali
dispositivi utilizzano la tecnologia optical see-through.

30. Augmented Reality
TECNOLOGIE COINVOLTE
Google Glass
 Si tratta di un wearable device
con un head-mounted display
(HMD) sviluppato da Google
con il Project Glass
 È equipaggiato con sistema
operativo Android 4, una
videocamera da 5Mpx e una
connessione Wi-Fi
 In aprile 2013 Google ha
rilasciato una «explorer
edition» dei Google Glass a
8000 utenti (per 1500 $)
 Non c’è una data ufficiale di
rilascio dei Google Glass. La
notizia è che dovrebbe essere
nella prima metà del 2014

31. Augmented Reality
TECNOLOGIE COINVOLTE
Google Glass

Google Glass interagisce con lo smartphone ed è in grado di
fornire servizi come SMS, chiamate, notifiche dei social network,
scattare foto e registrare video in alta qualità e condividerli su
internet. Ci sono già decine di applicazioni su web, ma non
ancora un canale ufficiale. Alcuni esempi di applicazioni sono:

BEAM è un'applicazione che permette di caricare contenuti
video direttamente su YouTube. Dopo che è caricato, è possibile
mantenerlo privato o condividerlo con Twitter.

L’applicazione del New York Times per Google Glass fornisce
avvisi di breaking news, aggiornamenti di notizie ogni ora e vi
legge ad alta voce i sommari degli articoli.

Winky consente di scattare una foto con l’occhiolino. Consente
di attivare i Google Glass dalla modalità standby e scattare una
foto solo con un batter d'occhio.

L’applicazione Send to Facebook per Google Glass rende più
semplice caricare le tue foto direttamente su Facebook.

UltraRun mostra i dati di performance durante la corsa. Mostra il
tempo trascorso, le miglia corse e le miglia al minuto.

32. Augmented Reality
TECNOLOGIE COINVOLTE
Google Glass

33. Augmented Reality
CAMPI DI APPLICAZIONE
 La realtà aumentata ha molte campi di applicazione e molti settori
possono beneficiare dell'uso della tecnologia AR
 La realtà aumentata è stata inizialmente impiegata per applicazioni
militari, industriali mediche ma ha presto trovato applicazioni in campo
commerciale e dell’intrattenimento

34. Augmented Reality
CAMPI DI APPLICAZIONE
Campi di applicazione
•
•
•
•
•
•
•
•
•
•
Architecture
Art
Commerce (Shopping)
Construction
Customer Service
Design
Education
Gaming
Industrial
Maintenance (Tasks support)
•
•
•
•
•
•
•
•
•
•
Marketing
Military
Medical
Navigation
Office workplace
Safety and Rescue Operations
Sports and entertainment
Television
Tourism and sightseeing
Translation

35. Augmented Reality
CAMPI DI APPLICAZIONE
Architettura
 La Realtà Aumentata può aiutare a
visualizzare i progetti realizzati
 Le immagini digitali di un edificio
possono essere sovra-imposte in una
vista reale del sito prima della
costruzione fisica dell’immobile
 Ad esempio applicazioni AR possono
permettere agli utenti che hanno
visionato l'esterno di un edificio di
vedere virtualmente attraverso le sue
pareti, visualizzando i suoi oggetti
interni e il suo layout

36. Augmented Reality
CAMPI DI APPLICAZIONE
Commercio (Shopping)
 Applicazioni AR possono migliorare
anteprime di prodotti, ad esempio,
consentendo al cliente di vedere cosa c'è
dentro l'imballaggio di un prodotto senza
aprirlo
 Immagini digitalizzate di prodotti possono
attivare la visualizzazione di contenuti
aggiuntivi come opzioni di
personalizzazione e ulteriori immagini del
prodotto nel suo utilizzo
 Materiale di marketing stampato può
essere progettato con immagini “marker"
che, una volta scansionate da un dispositivo
AR abilitato mediante riconoscimento di
immagini, attivano una versione video del
materiale promozionale

37. Augmented Reality
CAMPI DI APPLICAZIONE
AR Dressing mirror
 Uno specchio in realtà aumentata
consente agli utenti di selezionare e
indossare diversi capi di abbigliamento
e accessori nelle combinazioni preferite
 Interagiscono con i gesti degli utenti e
sono in grado di catturare le loro foto
nella combinazione scelta di
abbigliamento per stamparla

38. Augmented Reality
CAMPI DI APPLICAZIONE
AR Makeup mirror
 Le utenti possono provare diverse
tonalità di trucco, rimuoverle e
quindi ripetere la procedura da capo
attraverso una tecnologia di realtà
aumentata che si propone di fare
questi test di colore molto
facilmente

39. Augmented Reality
CAMPI DI APPLICAZIONE
Manutenzione (Tasks support)
 Compiti complessi come
assemblaggio e manutenzione
possono essere semplificati
inserendo informazioni aggiuntive
nel campo di vista
 Le informazioni possono essere
visualizzate su parti di un sistema per
chiarire le istruzioni al meccanico che
sta eseguendo la manutenzione

40. Sviluppo di soluzioni AR
ELEMENTI DA CONSIDERARE




AR non è solo un'applicazione per mobile device
La creazione e l’editing di una esperienza in AR è parte di un processo che richiede
sforzi e contenuti da pubblicare per mezzo di una struttura/piattaforma AR
Riconoscimento della posizione o delle immagini può essere problematico
GPS e sensori non sono sempre precisi e possono posizionare nel posto sbagliato. Il
posizionamento Indoor necessita di essere assistito con l’utilizzo di marker (ad
esempio QR code).
Il riconoscimento delle immagini potrebbe essere influenzato da elementi esterni
quali la luce ambientale o la dimensione dell'elemento scansionato
Le imprese possono voler integrare applicazioni AR nei sistemi interni esistenti
Interoperabilità e flessibilità di SDK per applicazioni di AR simili disponibili sul
mercato possono fare la differenza (come anche i costi e il tipo di licenza)
Sicurezza e riservatezza
Quando la piattaforma AR lavora nella rete globale, un’azienda che pubblica
esperienze AR deve sapere che le informazioni non sono più solo nella rete
aziendale privata.
Le aziende però possono integrare la piattaforma AR nella loro rete per evitare il
problema e offrire l'accesso anche a soggetti esterni quali i propri clienti.