Il concetto di Continuum per la Realtà Aumentata, Mista, Virtuale

1. Reality – Virtuality
CONTINUUM
e
MEDIALITA’
Laura Antichi
UBIQUITOUS
Corso Anitel 05/2018: Realtà aumentata (AR), Realtà virtuale (VR) e Realtà
mista (MR) nel contesto pedagogico di Didattica Flip ed EAS (Episodi di
Apprendimento situati) - Codice SOFIA: 13105

2. Le domande su AR – MR -VR
sono:
• Quale relazione con il
nostro mondo reale?
• Quale impatto
sull’apprendimento?

3. Realtà Aumentata
Realtà Mista
Realtà Virtuale
Sono sistemi, che si
servono di tecnologie
specifiche e dedicate
che vengono viste in
un «Continuum».

4. Per approfondire:
http://etclab.mie.utoronto.ca/publication/1994/Milgram_Takemura_SPIE1994.pdf
GLI STUDIOSI DEL
CONTINUUM
Paul Milgram, Haruo Takemura,
Akira Utsumi, Fumio Kishino
(1994), Doug A. Bowman (2004,
Daniel Miller, Don Slater .
C’è una zona intermedia tra reale e virtuale
nella quale i due estremi risultano mescolati in
varia prevalenza rispetto agli estremi reale e
virtuale.
Questo spazio del continuum è
la Realtà Mista

5. La scala del
Continuum
realtà-
virtualità
La Mixed
Reality
rappresenta e
concretizza il
Continuum
Milgram’s Reality-Virtuality Continuum
Paul Milgram e Fumio Kishino ‘A Taxonomy of Mixed Reality Visual Displays’ (1994)

6. • Realtà Aumentata (AR)
• Realtà Mista (MR)
• Realtà Virtuale (VR)
Sono visibili nel
Continuum della
Realtà Mista
(MR)

7. «Le visualizzazioni visive di Mixed Reality
(MR), un particolare sottoinsieme di
tecnologie relative alla Realtà Virtuale (VR),
implicano la fusione di mondi reali e
virtuali da qualche parte lungo il
"continuum di virtualità" che connette gli
ambienti completamente reali a quelli
completamente virtuali.»
(translated)
Credits:
https://www.researchgate.net/publication/231514051_A_Taxonomy_of_
Mixed_Reality_Visual_Displays
:::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::
A Taxonomy of Mixed Reality Visual Displays (PDF Download Available).
Available from:
https://www.researchgate.net/publication/231514051_A_Taxonomy_of_
Mixed_Reality_Visual_Displays.
Milgram, Paul & Kishino, Fumio. (1994). A Taxonomy of Mixed Reality
Visual Displays. IEICE Trans. Information Systems. vol. E77-D, no. 12. 1321-
1329.

8. «Augmented Reality (AR),
probabilmente il più noto di questi, si
riferisce a tutti i casi in cui la
visualizzazione di un ambiente
altrimenti reale è aumentata mediante
oggetti virtuali (computer grafica).»
(translated)
Credits:
https://www.researchgate.net/publication/231514051_A_Taxono
my_of_Mixed_Reality_Visual_Displays
::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::
A Taxonomy of Mixed Reality Visual Displays (PDF Download
Available). Available from:
https://www.researchgate.net/publication/231514051_A_Taxono
my_of_Mixed_Reality_Visual_Displays.
Milgram, Paul & Kishino, Fumio. (1994). A Taxonomy of Mixed
Reality Visual Displays. IEICE Trans. Information Systems. vol. E77-
D, no. 12. 1321-1329.

9. «Nel lato opposto sul Continuity di virtualità c’è
quindi Augmented Virtuality (AV). Sono state
identificate sei classi di ambienti di visualizzazione
MR ibridi. Tuttavia sono possibili raggruppamenti
abbastanza diversi e ciò dimostra la necessità di
una tassonomia efficiente, o di una struttura di
classificazione, in base alla quale si possano
identificare differenze essenziali.»
(translated)
Credits:
https://www.researchgate.net/publication/231514051_A_Taxonomy_o
f_Mixed_Reality_Visual_Displays
NOTA:
PER LE 6 CLASSI DI AMBIENTI DI VISUALIZZAZIONE IBRIDI VEDI «A
TAXONOMY OF MIXED REALITY VISUAL DISPLAYS”:
https://cs.gmu.edu/~zduric/cs499/Readings/r76JBo-
Milgram_IEICE_1994.pdf PAG. 3
:::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::
A Taxonomy of Mixed Reality Visual Displays (PDF Download Available).
Available from:
https://www.researchgate.net/publication/231514051_A_Taxonomy_o
f_Mixed_Reality_Visual_Displays.
Milgram, Paul & Kishino, Fumio. (1994). A Taxonomy of Mixed Reality
Visual Displays. IEICE Trans. Information Systems. vol. E77-D, no. 12.
1321-1329.

10. Augmented Reality e Augmented Virtuality
definiscono da un lato l’ambiente reale modificato da
elementi virtuali (AR) e dall’altro lato l’ambiente
virtuale modificato da elementi reali (VR).
Nel Continuum
realtà-virtualità
(Paul Milgram)
Nel Continuum ci
sono tutte le
possibili variabili e
mescolanze di
virtuale e reale.
Il concetto di Continuum è
stato adottato come idea
che descrive i nuovi media
e nell'informatica, ha
anche valore
antropologico.
La realtà mista è lo spazio intermedio che
mescola i poli reale mediato e virtuale mediato
fino ad arrivare al grado estremo la virtualità
come “versione della realtà modificata in modo
grave”.

11. STEVE MAN
Aggiunge al concetto di
Reality-Virtuality
Continuum
il concetto di
Medialità.
::::::::::::::::::::::::::::::::::::::::
I 4 Focus della Realtà
Mediata sui 2 assi della
Virtualità e Medialità:
1. Virtualità aumentata
2. realtà aumentata
3. realtà mediata,
4. virtualità mediata.
Steve Mann, ’Mediated Reality with implementations
for everyday life’ (2002)

12. IL CONCETTO DI
REALTA’
MEDIATA
L'origine R denota la realtà non
modificata. Il Continuum nell'asse
Virtuality V include la realtà aumentata.
Sull’asse della medialità troviamo la
Realtà Mediata, la Virtualità Mediata e le
loro combinazioni.
A destra in alto abbiamo mondi virtuali
che rispondono a una versione della
realtà gravemente modificata.
La Realtà Mediata come Realtà Mista nel
Continuum comprende sia gli effetti
additivi, sia gli effetti moltiplicativi, sia
sottrattivi/riduttivi intenzionali o
accidentali della realtà .
Tassonomia della realtà, virtualità,
medialità.

13. IL CONCETTO DI
REALTA’
MEDIATA
• che modificano
consapevolmente la
realtà;
• ma considera anche
quelli che modificano
la realtà
accidentalmente.
Il Principio
della Realtà
Mediata guarda
ai dispositivi:

14. IL CONCETTO DI
REALTA’ MEDIATA
La Realtà che è Mediata dal
computer o da un
dispositivo o smartphone
aggiunge, sottrae o
manipola le informazioni di
ciò che vediamo attraverso i
nostri occhi e percezioni.
Steve Mann, ’Mediated Reality with implementations
for everyday life’ (2002)

15. Nella Realtà Mediata
la realtà non viene
cambiata, ma cambia
la sua percezione
dopo che le immagini
reali vengono filtrate
da un computer,
telecamera o
dispositivo.
La Realtà Mediata
è quella che ci
appare dopo la
manipolazione
attraverso il
dispositivo.
Realtà Mediata
La Realtà Mediata da
computer o da dispositivi
può essere molto utile
per l’INCLUSIONE
(esempio non vedenti)

16. https://commons.wikimedia.org/wiki/File:Viraugmixmodmediated_reality.png
La Realtà Virtuale e
la Realtà Aumentata
sono esempi di
realtà mediata nel
Continuum

17. Il concetto di realtà mediata
di Steve Mann
Integra il concetto di
Continuum di Paul
Milgram
perché punta sulle realtà
modificate dai dispositivi e
non si limita alla semplice
registrazione della presenza di
elementi virtuali per
individuare il grado di
virtualità.

18. Virtuale
Reale
IDEE
CHIAVE
Mediato
Aumentato
Principio
del
Continuum
Principio
Medialità

19. Realtà
Aumentata
• Abita nell’ambiente quotidiano e
naturale.
• Non sostituisce la realtà ma ne
intensifica la visione.
• Aggiunge e sovrappone contenuti
al mondo reale.
• Combina oggetti reali e virtuali.
• È un nuovo livello da cui guardare
alla realtà perché permette di
approfondire un compito, un
contenuto, un’azione.

20. • Non si limita ad aggiungere contenuto alla realtà, ma interpreta questa e
la situa in un contesto semantico.
• Ristruttura le simbologie e sceglie gli agganci inventando legami creativi.
• Quindi filtra le informazioni sulla realtà per
potenziare/estendere/approfondire alcuni aspetti.
• Un esempio di filtro è rappresentato da HP Reveal (ex Aurasma). HP
Reveal è app per PC e Mobile che opera attraverso immagini (trigger)
dell’oggetto e Layer Aumentati.

21. Per produrla abbiamo bisogno di usare displays (indossabili o
no) head-up costituiti da:
• schermi e monitor,
• Sensori e videocamere,
• dispositivi mobile,
• occhiali (Google Glass e altri display head-up, Hololens).
Abbiamo anche bisogno di Applicazioni specifiche.

22. QUALI SVILUPPI
FUTURI?
Lo sviluppo di piattaforme (software per AR
compatibili) come ARKIT (iOS 11) e
ARCORE (Android 7.0),
Implicano l’uso di sensori
(telecamere in movimento e in
profondità) che trasformano i
cellulari in dispositivi AR.
Forse gli smartphone si
trasformeranno e diventeranno così
piccoli da essere indossabili come lenti
a contatto.

23. Non sconvolge il mondo reale come la Virtuale ma ci riporta dentro di
esso ad un livello diverso.
PRODUCE Apprendimento esperienziale.
Nuove forma di insegnamento.
DIDATTICAMENTE HA
SENSO
In un Progetto Flip ed EAS (Episodi di
Apprendimento Situati) perché presuppone che gli
studenti costruiscano creativamente il loro
apprendimento.

24. Ha diverse
applicazioni
ad esempio:
1. NEL CAMPO DELLA MEDICINA,
2. NELL’ISTRUZIONE,
3. NELL’AMBITO MILITARE,
4. NELL’AERONAUTICA,
5. NELLE AZIENDE,
6. IN AMBITO PROFESSIONALE,
7. NELL’INTRATTENIMENTO,
8. NELL’ORIENTAMENTO GEOLOCALIZZATO,
9. NELL’ARTE E DESIGN …

25. Realtà
Aumentata
TIPOLOGIE
1
Realtà Aumentata
basata su Marker
Image Recognition
Serve una telecamera da
dispositivo mobile con la quale
inquadrare attraverso un’App
dedicata un marker del tipo ad
esempio QRCODE.
L’app legge le informazioni
connesse al Marker.ANITEL

26. Realtà
Aumentata
TIPOLOGIE
2
Realtà aumentata
senza Marker
È basata sulla localizzazione e si serve di
dispositivi GPS integrati nei dispositivi.
Fornisce dati sulla posizione.
Es. Pokemon Go.

27. Realtà
Aumentata
TIPOLOGIE
3
Realtà Aumentata
basata sulla proiezione
Si proietta la luce artificiale sulle
superfici del mondo reale e si
percepisce l'interazione umana
sulla quella luce proiettata.
Un esempio lo sono gli Ologrammi,
rappresentazione olografica 3D di
immagini.

28. Realtà
Aumentata
TIPOLOGIE
4
Realtà Aumentata per
sovrapposizione Si basa sul riconoscimento degli oggetti.
Si scaricano le applicazioni dedicate e si
possono scansionare le immagini.
Esempi lo sono le app per visualizzare
contenuti informativi in riviste (vedi
Focus) e Cataloghi (vedi mobili Ikea).
Credits IMG:
https://www.focus.it/site_stored/imgs/000
4/031/focusar-3.630x360.jpg

29. Realtà
Virtuale

30. La Realtà
Virtuale
trasborda in
un’altra
realtà oltre la
reale.
• È immersiva e il mondo reale
scompare.
• L’immersione ha gradi di intensità
differenti nel coinvolgimento.

31. GRADI DI IMMERSIVITA’
MINIMO GRADO MEDIO GRADO MASSIMO GRADO
ESEMPIO ESEMPIO ESEMPIO
Immagini 2D Contenuti video
360°. I giochi.
Si serve di Sensori di
movimento, auricolari,
controller per interagire
con gli oggetti.
Si ottiene con l’uso
di periferiche:
Casco o occhiali che
annullano la visione del
mondo reale r che hanno
sistemi di rilevamento
dei movimenti;
auricolari; guanti;
cybertuta.

32. La realtà virtuale si
basa sulla simulazione
di situazioni, ambienti
difficili da
sperimentare nella
realtà perché lontani,
pericolosi, costosi.
Esempi di
utilizzo:
Simulazioni
chirurgiche,
Addestramenti,
Turismo con
esplorazioni,
Simulazione e
ricostruzione di
ambienti presenti e
passati,
Intrattenimento. . .

33. Caratteristiche della Realtà
virtuale sono:
• IMMERSIONE,
• PRESENZA,
• SIMULAZIONE,
• INTERPRETAZIONE DI UN RUOLO …

34. Nelle esperienze virtuali i
sensi sono tutti coinvolti,
ma sono isolati dagli
stimoli sensoriali reali.
Anche il livello cognitivo è
ancorato alla simulazione.

35. Alcuni dispositivi di realtà virtuale in commercio e in
continua espansione.
Esempi:
• HTC Vive e HTC Vive Pro
• Oculus Rift
• Playstation VR
• Google Cardboard
• Samsung Gear VR

36. Trasbordare nei
Mondi Virtuali
IL METAVERSO
«Metaverso (in inglese Metaverse) è un
termine coniato da Neal
Stephenson in Snow Crash (1992), libro
di fantascienza Cyberpunk, descritto
come una sorta di realtà
virtuale condivisa tramite internet, dove
si è rappresentati in tre dimensioni
attraverso il proprio avatar.»
https://it.wikipedia.org/wiki/Metaverso

37. IMMERSIONE
NEI MONDI 3D
• PER APPRENDERE/INSEGNARE
• PER COSTRUIRE e PROGRAMMARE
• PER COMUNICARE
• PER RIVESTIRE RUOLI
• PER GIOCARE
• PER FARE ESPERIENZA

38. AMPLIFICARE L’ESPERIENZA SOGGETTIVA
E SOCIALE IN UN CONTESTO CHE
RICHIEDE IMPEGNO, RESPONSABILITÀ,
DESIGN.

39. Di cosa ho
bisogno?
Di un SOFTWARE DI
ACCESSO, un Viewer da
scaricare.
Esempio:
• Second Life
• Firestorm (per
Second Life e
Opensim)
• Singularity …
Di interagire e
rappresentarsi in
3D con la
scelta/costruzione
personalizzata di
un AVATAR. Di sapere dove
andare e perché.

40. Realtà Mista

41. • Mescola la realtà fisica con la virtuale.
• Utilizza la realtà aumentata e sovrappone la virtuale
(si inseriscono attraverso visori elementi virtuali).
• Prevede interazione dell’utente che è resa possibile
mediante riconoscimento dei gesti e/o istruzioni
vocali.
• Si trova nella parte centrale del Continuum.
Realtà Mista
Ad esempio si osserva il mondo reale, si aggiungono info in AR, si interagisce con oggetti
virtuali (Hololens) come se fossero nella realtà.

42. Attraverso il Design e la
modellizzazione in 3D si
possono creare
ologrammi utili in molte
attività di apprendimento,
di training, di gioco e di
costruzione.
Si abbattono i costi dei
modelli fisici e si
ottengono risultati più
efficaci di quelli in 2D.
Interessante utilizzo della Realtà
Mista è visibile negli
OLOGRAMMI.
Gli Ologrammi (as esempio
con HoloLens) sono
destinati all’integrazione
nello spazio reale e l’utente
dovrebbe gestirli come
farebbe con oggetti reali.

43. Realtà Mista 3 VISORI
https://goo.gl/Ctj2JX
1. HOLOLENS
Prodotto da Microsoft e rilasciato a
marzo 2016. Riconosce lo spazio reale, e
su di esso fa interagire gli elementi
virtuali. È dotato di quattro sensori per il
riconoscimento dell’ambiente. La
Holographic Processing Unit elabora i
dati di input provenienti dai vari sensori
e rende possibile il rilevamento spaziale,
gestuale e vocale.
SITO
https://www.microsoft.com/it-
it/hololens
Microsoft HoloLens utilizza la
piattaforma di Realtà Mista
Windows Holographic per il
sistema operativo Windows 10.
La piattaforma rende possibile
l’integrazione di elementi
virtuali (ologrammi) nello
spazio reale.

44. Realtà Mista 3 VISORI
Credits image https://goo.gl/qv8ADC
2. HOLOKIT
Headset VR.
È visore per la realtà mista, è simile al
Cardboard per la realtà aumentata.
Versione povera di Hololens Microsoft.
Ha un sistema di proiezione semplice:
usa 2 specchi che riflettono lo schermo
di uno smartphone su una lente
Fresnel semitrasparente e ad angolo.
Con questo meccanismo riesce a
vedere non solo l’immagine ma anche
il contesto reale.
Funziona con iPhone 7
e Plus, i telefoni Pixel e
l'hardware Project
Tango
APP ANDROID:
https://goo.gl/ygWL8b
APP iOS
https://goo.gl/ajgLu8

45. 3. ARYZON
Realtà Mista 3 VISORI
https://goo.gl/7cfPWa
APP ANDROID:
https://goo.gl/BkeTej
APP iOS
https://goo.gl/gkaJRA
Aryzon un visore simile ma più raffinato di
Google Cardboard. Usa un sistema di specchi.
L’immagine inviata dallo smartphone viene
riflessa su lenti stereoscopiche e su un
pannello dedicato che permette di osservare
l’immagine in AR da qualsiasi angolo.
L'auricolare posiziona i contenuti virtuali
proiettati dallo schermo dello smartphone
nell’ambiente.
IL SITO
https://goo.gl/CL64ia

46. Mixed Reality Platform di Windows
10

48. Con l’aggiornamento Creators Update (Windows 10
Fall Creators Update), Microsoft distribuisce
la Realtà Mista.
È un’esperienza simile a Microsoft HoloLens.
Come visori si utilizzano:
3Glasses, Acer, Dell, HP e Lenovo
---------------------------------------------------
Tutorial: https://www.windowsblogitalia.com/2017/03/realta-mista-
windows-10-creators-update/

49. E …
RITORNIAMO
ALLE
DOMANDE
INIZIALI
Le domande su AR
– MR -VR ERANO:
• Quale relazione con il
nostro mondo reale?
• Quale impatto
sull’apprendimento?

50. Quale relazione AR-MR-VR
con il nostro mondo reale?
• FORNISCONO ESPERIENZE ALTERNETIVE , ricche di suggerimenti e
approfondimenti da mettere in pratica.
• FORMANO UNA STRUTTURA MENTALE FLESSIBILE per le scelte d’azione
e le possibili decisioni.
• POTENZIANO E VALORIZZANO IL SOGGETTO.
• ALLARGANO E INTENSIFICANO LA VISIONE.
• INVESTIGANO METODI DI RICERCA.
• CONTRIBUISCONO ALLA FORMAZIONE DI MODELLI ORIENTATIVI.
• AUMENTANO LA RESILIENZA E LA CAPACITÀ DI PROBLEM SOLVING.

51. Quale impatto AR-MR-VR
sull’apprendimento?
• COINVOLGONO IN AZIONI E ANTICIPANO I POSSIBILI RISULTATI REALI.
• SPERIMENTANO FORTI EMOZIONI che aiutano le memorie nelle loro tipologie.
• INCENTIVANO PRATICHE PERSONALI E SOCIALI POTENZIATE per raggiungere una
performance.
• ESTENDONO LA COGNIZIONE E LA VISIONE METARIFLESSIVA.
• COLLAUDANO FEEDBACK REALISTICI-SIMULATI DEGLI EFFETTI RISPETTO ALLE SCELTE.
• COSTRUISCONO OGGETTI SOCIALI DI CONOSCENZA.
• GARANTISCONO A TUTTI SVILUPPO PERSONALIZZATO (inclusione).

52. QUALE DIDATTICA?
COSTRUTTIVISMO
CONNETIVISMO
NEUROSCIENZE E
FILOSOFIA DELLA
MENTE
APPRENDIMENTO COME COSTRUZIONE
PERSONALE DELLO STUDENTE E COME DESIGN
DEL DOCENTE.
L’APPRENDIMENTO SI RAPPORTA AI NUOVI STRUMENTI
TECNOLOGICI E DI RETE PER INDIVIDUARE LE
CONNESSIONI TRA CAMPI, IDEE, CONCETTI E PER SAPER
SCEGLIERE/SELEZIONARE LE INFORMAZIONI.
L’APPRENDIMENTO INTERCONNETTE PERCEZIONE,
AZIONE, EMOZIONE E COGNIZIONE NELLA
CONOSCENZA. E’ PRODOTTO DA INTERAZIONI CON
ESPERIENZE; COINVOLGE IL CORPO NEI SISTEMI
SENSOMOTORI; SI RIFLETTE SUI PROCESSI
MENTALI.
COSTANTE
RIFERIMENTO

53. Live Binder in progress
I wanted to share this LiveBinder with you -
Augmented e Virtual Reality -
http://www.livebinders.com/play/play/1674445
_________________________________________
Credits: Rispetto alle immagini usate nella presentazione alcune sono personali, altre sono
prese da www.pixabay.com con licenza: CC0 Creative Commons (Libera per usi
commerciali Attribuzione non richiesta).

54. Attribuzione - Non commerciale - Non opere derivate
CC BY-NC-ND
LAURA ANTICHI
http://www.facebook.com/lantichi
http://twitter.com/lantichi
http://it.linkedin.com/in/lantichi
http://www.youtube.com/user/lantichi
https://www.instagram.com/lantichi/
http://www.slideshare.net/lantichi/