Slide dell'intervento di Paolo Nesi (Direttore del Distributed Systems and Internet Technology Lab, Università di Firenze) al Convegno e tavola rotonda "Comunicazione, Augmented Reality e futuro dello sport" 15 dicembre 2011 - Museo del calcio - Coverciano/Firenze (a cura di Communication Strategies Lab e Comunicazione Generativa)

1. La Ricerca Internazionale e
gli Scenari Tecnologici
Paolo Nesi
DISIT Lab: Lab. Sistemi Distribuiti e Tecnologie Internet
Dipartimento di Sistemi e Informatica
Universita’ degli Studi di Firenze
http://www.disit.dsi.unifi.it
nesi@dsi.unifi.it, paolo.nesi@unifi.it
Tel: 0554796523, fax: 055-4796363
Via S. Marta 3, 50139 Firenze
Comunicazione, Augmented Reality e il futuro dello sport
Museo del Calcio- Coverciano (FI)
viale A. Palazzeschi, n. 20 - Firenze
15 dicembre 2011
1

2. Sommario
• Applicazioni
• AR: Elementi Aggiuntivi
• AR: Principali Paradigmi
• Scenari di Fruizione
• Produzione
• Metodi di Attivazione
• Tecnologie e problematiche
• Conclusioni
Paolo Nesi, Dicembre 2011 2

3. AG: Applicazioni
• Produrre informazioni
– per/prima-di arrivare all’evento
– durante un evento
EyePly – per chi fa sport: condizioni, lavoro…
http://www.eyeply.com/ • Rappresentazione aumentata di eventi
sportivi
– descrizione delle tattiche di gioco
– sommario di video per scene
– studio del comportamento degli atleti, eventi, etc.
– supporto alla decisioni di
arbitri/referee, identificazione di condizioni di
gioco
• Social network per lo sport, attrazione
della comunità
• Supporto alla riabilitazione
Paolo Nesi, Dicembre 2011 3

4. Analisi di stile e strategie
Visualization of Sports using Motion Trajectories:
Providing Insights into Performance, Style, and Strategy,
--IBM T.J.Watson Research Center,
--Bell Labs, Lucent Technologies
Paolo Nesi, Dicembre 2011 4

5. Realtà Aumentata, Augmented Reality
• Diretta:
– aggiungere informazioni alla realtà
tramite
• Cartelli di
indicazione, QR/Barcode, RFID, G
PS, audio guide, ..
• Accessibili con o senza dispositivi
• Indiretta:
– creare delle rappresentazioni
aumentate tramite le quali si accede a
delle informazioni. Le
rappresentazioni aumentate sono a
loro volta
• video, immagini, mappe, guide
Paolo Nesi, Dicembre 2011 5

6. AR: Elementi Aggiuntivi
• Mettere in evidenza
• Descrittori / informazioni
• Punti sensibili per funzioni
interattive
• Stimolare altre sensazioni
• Viste sincronizzate
• Ricostruzione 3D della scena
o di elementi nella scena
Paolo Nesi, Dicembre 2011 6

7. AR: Elementi Aggiuntivi
• Per Mettere in evidenza
– Posizioni di persone e/o oggetti
– Traiettorie di palle/oggetti e/o
persone
• Curve sovrapposte
• Effetti stroboscopici: istanti di uno
PISTE Project
stesso gesto atletico, uomo che
salta
– Distanze fra punti con misure
• Proiezione di punti e linee
– Velocità
• Valori, diagrammi
Paolo Nesi, Dicembre 2011 7

8. AR: Elementi Aggiuntivi
PISTE Project
• Per descrivere/dare informazioni
– Evidenti:
• Testuali con e senza etichette
• Velocità di oggetti e persone
• Distanze
• Identificativi: nomi di persone,
oggetti/aree.
– Non Evidenti
• Pubblicità: cartelloni personalizzati,
orientati e illuminati opportunamente
• Scritte sul pubblico: animate, deformate
opportunamente
Institute of New Imaging Technologies
Universitat Jaume, Spain
Paolo Nesi, Dicembre 2011 8

9. PISTE Project
PISTE Project
Paolo Nesi, Dicembre 2011 9

10. AR: Elementi Aggiuntivi, modali
AXMEDIS Project, DISIT
• Punti sensibili per funzioni
interattive
– Gadget, bottoni
– Animazioni 2D
– Personaggi virtuali, avatar
• Produrre altre sensazioni
– Rumori, Odori,
– Vibrazioni, Oscillazioni, movimen
ti
– Etc.
Paolo Nesi, Dicembre 2011 10

11. AR: Elementi Aggiuntivi
• Viste sincronizzate,
multivideo/immagini
– stessa scena da diversi punti di
vista o in tempi differiti
– scene simili con persone
diverse, stesso gesto atletico
– Tecniche di PiP, tiled, etc.
• In aggiunta
– Navigazione fra scene e
annotazioni
MyStoryPlayer solution, DISIT
– Registrazione della navigazione
fra scene/annotazioni
Paolo Nesi, Dicembre 2011 11

12. AR: Elementi Aggiuntivi
• Ricostruzione 3D della
scena o di elementi nella
scena
– Ricostruzione dell’ambiente
– Ricostruzione del movimento
PISTE Project dell’atleta come Avatar
(tipicamente off line)
• Uso di video camera e appositi
sensori
• Tipicamente off line
Paolo Nesi, Dicembre 2011 12

13. AR: Principali Paradigmi
• Aggiunta di Elementi AR nella
scena virtuale/rappresentata
rispetto alla reale
• Aumento della
risoluzione, accesso al dettaglio
• Aumento della visione di insieme
• Augmented Mirror
• Entrare nella scena, «presence»
Paolo Nesi, Dicembre 2011 13

14. AR: Paradigmi
• Aggiunta di Elementi AR nella scena
virtuale/rappresentata rispetto alla
reale:
– overlay/sovrapposizione di Elementi di AR
– Interagire con Elementi AR guardando la
rappresentazione aumentata e non la realtà
BBC Research OnScreenCommunication
Paolo Nesi, Dicembre 2011 14

15. AR: Paradigm, Aumento Risoluz.
• Aumento della
risoluzione
– ZOOM tramite telecamera:
cellulare o occhiali
– Aggiunta in overlay di
Elementi di AR
– Attivazione automatica di
elementi nella scienza
aumentata (e.g., video)
Paolo Nesi, Dicembre 2011 15

16. AR: Paradigm, Visione d’Insieme
FascinatE project
• Aumento della visione di insieme per
composizione di immagini e/o selezione
specifica:
– Acquisizione/Visione dell’intero stadio a 360
gradi
– Scelta del punto di visione personale e/o da
parte del regista
Paolo Nesi, Dicembre 2011 16

17. AR: Paradigm, Augmented Mirror
• Augmented Mirror, vedere se
stessi oppure oggetti con
informazioni aggiunte (per
didattica e/o recupero)
– Verifica della posizione
Imaestro EC Project, – Vedersi insieme ad Elementi AR
Univ. Leeds, DISIT involved
per valutare cosa e come si sta
facendo
– Revisione del gesto atletico
– Accelerazione dell’apprendimento
– Accelerazione del recupero
Paolo Nesi, Dicembre 2011 17

18. AR: Paradigm, Presence
• Entrare nella scena, sense of
presence
– Vedere se stessi nel contesto
dell’evento sportivo da una posizione
diversa a quella attuale
– Stare sul campo per vedere la partita
invece che al proprio posto
– Ricevere effetti aggiuntivi per dare la
sensazione di presenza nel posto
remoto: «presence»
Paolo Nesi, Dicembre 2011 18

19. Scenari di Fruizione
• Broadcast:
• DVBS, DVBT/MHP, WebTV, streaming, even
ti live o in differita
• WEB: ipTV, WebTV, browser
• visione di eventi registrati, accesso on
demand
• Mobile: l’utente
• è ad evento sportivo
• si muove intorno ad un evento
• svolge attività sportiva
• Scenario Sociale (trasversale)
Paolo Nesi, Dicembre 2011 19

20. Scenario Broadcast
• Ricezione di video/immagini con Elementi AR
• Difficoltà di attivazione di informazioni sulla
base di Elementi di AR interattivi
• informazioni veicolate nello stream principale
(e.g., MHP, MPEG-4):
– per passare ad altri canali
– per accedere ad altre informazioni
– meno efficace su DVB e + su IP
• Scenari aggiuntivi possibili basate sul
decoder
– viste multiple, attività sociali
Paolo Nesi, Dicembre 2011 20

21. Scenario WebTV, IP-TV, Browser
• Ricezione di video/immagini con
Elementi AR
• Attivazione di informazioni sulla base
di Elementi AR interattivi che possono
portare ad elementi non previsti nello
stream principale:
– passare ad altri canali
See SportVision
– accedere ad informazioni
• Scenari possibili:
– viste multiple, etc.
– attività sociali:
voti, commenti, twitter, connessioni con
altri gruppi/persone, etc.
Paolo Nesi, Dicembre 2011 21

22. Scenario Mobile: server/client
• Visione personale, Personal view
• Acquisizione del contesto
(posizione, immagini, etc.) e
See IBM solution for
Wimbledon 2009 comunicazione di questo al
server/cloud
– Attivazione con QR, GPS, RFID o via
algoritmi di riconoscimento della scena,
– file audio, immagini, informazioni, etc.
http://www.hackneyhear.com/
• informazioni fornite da server, e.g.:
– velocità della palla, punteggio, …
• Attività sociali:
– voti, commenti, twitter, networking, etc.
Paolo Nesi, Dicembre 2011 22

23. Scenario Mobile: client (server)
• Visione personale, Personal view
• Acquisizione di informazioni di contesto o
da elaborare (GPS, immagini, audio, etc.)
• Attivazione con QR, GPS, RFID o via
algoritmi di riconoscimento della scena, del
file audio, delle immagini, etc.
• Stima di informazioni direttamente dal
mobile
– E.g., riconoscimento di
targhe, numeri, etc.
• Attività sociali paritarie leggere
Paolo Nesi, Dicembre 2011 23

24. Scenario Sociale, tematico per
• seguire I propri paladini
• seguire le proprie pratiche
• discutere sui risultati ed incontrare
altri fun
• incontrare altri sportivi
• tenere compatta la comunita’
• organizzare I propri eventi sportivi
• Avere risutlati e statistiche
• Rivedere eventi in AR
• Comporre il proprio team
• Accedere a servizi aggiuntivi
• Etc. etc.
Paolo Nesi, Dicembre 2011 24

25. Produzione di AR Elements
• Authoring Manuale
– quotazione dell’immagine, traiettorie
sull’immagine
– Sovrapposizione su video
• Authoring Assistito, per esempio:
– Calibrazione, marcatura dei punti, algoritmi di
image processing e ricostruzione, 
– valutazione delle
distanze, velocità, traiettorie, etc.
• Authoring automatico (on-line/off-
line, server side, cloud computing)
– Ricostruzione movimenti nella scena, traiettorie
Paolo Nesi, Dicembre 2011 25

26. Metodi di attivazione/interazione
• Acquisizione informazioni, eventi di
attivazione:
– QR, barcode 2D, RFID
– Click/bottoni/link: mobile, PC, TV
• Comandi Vocali:
– Audio processing: speach recognition
• Comandi Gestuali:
– Accelerometri e Giros/giroscopi
• Posizione:
– Acquisizione di immagini  contesto
– GPS, WiFi, Celle di connessione, Irda, BT,
• Pensiero:
– Human Brain Signals
Paolo Nesi, Dicembre 2011 26

27. Tecnologie Multidisciplinari
• Elaborazione del segnale video, audio, immagini
– Estrazione, riconoscimento, analisi del moto, calibrazioni
• Calcolo Parallelo per elaborazioni in tempo reale
• Grafica 3D, ricostruzione, animazione
• Modellazione di informazioni semantiche e loro
indicizzazione e recupero
• Distribuzione di contenuti complessi, media grid
computing
• Sistemi di programmazione e progettazione Server
• Social Media computing, suggestions
• Mobile Computing e cloud computing
• Collaborative work
Paolo Nesi, Dicembre 2011 27

28. Problematiche Tecniche
• Costo dei Sensori, posizionamento e calibrazioni
• Cambiamenti nelle: condizioni di
acquisizione, luce, colore, dimensione
oggetti, forma e deformazioni, occlusioni, etc.
• Produzione del contenuto aumentato, authoring
• Costo computazionale e pertanto ritardi per
andare in tempo reale
• Distorsioni fra quello che uno vede fuori e quello
che uno vede sul mobile
• Precisione per poter adattare la visione
aumentata in base alla posizione precisa
dell’utente, per esempio se muove la testa, il
mobile, etc.
Paolo Nesi, Dicembre 2011 28

29. Problematiche generali
• Comprensibilità
• Usabilità
• Interesse dell’utente ad utilizzarle
• Accettabilità
• Costo server side
• Applicabilità con gli strumenti in
uso da parte dell’utente
• Precisione
Paolo Nesi, Dicembre 2011 29

30. Conclusioni
• Moltissime applicazioni che promettono
grande interesse da parte degli utenti finali
• Svariati modelli e paradigmi che possono
e devono essere completamente
sviluppati
• Ampi margini di sviluppo per I nuovi
sistemi mobili e di distribuzione di
contenuti digitali
• Forti innovazioni in relazione alle attivitia
sociali e di interazione.
Paolo Nesi, Dicembre 2011 30

31. Paolo Nesi, Dicembre 2011 31

32. Paolo Nesi, Dicembre 2011 32

33. Paolo Nesi, Dicembre 2011 33

34. References
• Takayoshi KOYAMA, Itaru
KITAHARA, Yuichi OHTA, Live Mixed-
Reality 3D Video in Soccer Stadium, IEEE
and ACM International Symposium on
Mixed and Augmented Reality (ISMAR
’03)
Paolo Nesi, Dicembre 2011 34