Envision Biomed - Ambientes imersivos biomedicina e saúde que caminhos

A m b i e n t e s I m e r s i v o s
E s t e n d i d o s
b i o m e d i c i n a e s a ú d e :
q u e c a m i n h o s ?
Fernando Cas s ola
15.04.2024 | UA

Ambientes imersivos estendidos (AIE),
biomedicina e saúde: que caminhos?
A MBIEN T ES IMERSIVOS RE A L IDA DE EST ENDIDA
2
Ambientes imersivos estendidos, biomedicina e saúde: que caminhos?

Ambientes imersivos
3
Imersão
Um estado cognitivo em que se está absorto, isto é,
com profundo envolvimento, a ponto da sua atenção se
começar a dissociar das restantes ocorrências do mundo
é
Sistema: sensação
subjetiva de se estar
rodeado.
Absorção pela
narrativa
Absorção pela
agência
emerge de
Tecnologia, Intervenção
humana, e outros
elementos mediadores
afetadas por
Ambientes imersivos
vivenciadas em
Morgado, L. (2022). Ambientes de Aprendizagem Imersivos.
Video Journal of Social and Human Research, 1(2), 102-116.
Sistema

REALIDADE ESTENDIDA?
4

REALIDADE VIRTUAL
5
Utilizadore s c omple me nte
imer sos num ambiente
totalme nte digital, que pode
ou n ão se r re al

REALIDADE AUMENTADA
6
Utilizadore s pre se nte s e m
situações reais, inserindo
c amadas c om c onte údos
digitais

REALIDADE MISTA
7
Combina mundo digital
c om o físic o , produzindo
ambientes onde os obj etos
físic os pode m inte ragir
c om c onte údos digitais

REALIDADE ESTENDIDA (XR)
8

Impacto daTecnologiaXR
JOGOS E DUCAÇÃO
Scientific findings 9

Impacto daTecnologiaXR
INDÚ ST RIA SAÚDE
Scientific findings 10

AIE: Que caminhos?
exemplos…
Biome dic ina Saúde
11

Mercado mundial dos cuidados de
saúde digitais
12
https://www.intellectsoft.net/blog/digital-transformation-in-healthcare/

XR Platforms
In Improved patient education, self-care & engagement
13

XR Platforms
In Augmented surgeries
14

XR Platforms
In surgical training
15

XR Platforms
in Classrooms for Interactive Biomedical Education
16

XR Platforms
in data visualization and interactive 3D analysis
17

XR Platforms
in Clinical Surgery Guidance
18

XR Platforms
in Improved first aid
19

XR Platforms
in Rehabilitation
20

XR Platforms
in Therapy
21

XR Platforms
in Pharma marketing & advertising
22

XR Platforms
in Simplified hospital navigation
23

Que dispositivos?
24

Que dispositivos?
25

Que software?
UNIT Y 3D
UNRE A L ENGINE
26
A R Kit e A RCore
Vuf or ia engine

27
Mas se tivermos que lidar com dezenas ou mesmo centenas de utilizadores?
não é o mesmo que lidar com “meia dúzia”…

Coreografias
Virtuais
28

Full Spectrum Warrior
29

Trabalhos feitos com
recurso a coreografias
30
Lopes et al. (2009) Use of a virtual world system in sports coach education
for reproducing team handball movements
Pinheiro et al. (2014) Development of a mechanical maintenance training
simulator in OpenSimulator for F-16 aircraft engines. Entertainment Computing

Online GYM
31
Cassola, L Morgado, F de Carvalho, H Paredes, B Fonseca, P Martins Online-
Gym: a 3D virtual gymnasium using Kinect interaction Procedia Technology
13, 130-138
Coreografias virtuais: identificar comportamentos

32
Coreografias virtuais: identificar e direcionar comportamentos com determinado objetivo
Cassola et al. (2017). Using choreographies to support the gamification process on the development of an
application to reduce electricity costs. Lecture Notes in Computer Science
plataforma
gamificada para
promover a
eficiência
energética em
escritórios

Demetrius
Ambientes imersivos
Ambientes Imersivos de treino: perspetivas coreografadas 33
Lacet el al. 2020. Preserving story choreographies across multiple platforms: An approach to platform-
independent reuse of characters' behaviors for games, simulations, animations and interactive videos. In
Proceedings of the 9th International Conference on Digital and Interactive Arts (ARTECH 2019).
Coreografias virtuais: representar comportamentos

FEEDBACK
34
Coreografias virtuais: direcionar comportamentos com determinado objetivo
Soares, F.; Madureira, A.; Pagès, A.; Barbosa, A.; Coelho, A.; Cassola, et al. FEEdBACk: An ICT-Based
Platform to Increase Energy Efficiency through Buildings’ Consumer Engagement. Energies 2021

Ambientes Imersivos de treino: perspetivas coreografadas 35
Cassola et al. (2022). Design and Evaluation of a Choreography-Based Virtual Reality Authoring Tool for
Experiential Learning in Industrial Training. In IEEE Transactions on Learning Technologies, 2022
Cassola et al. (2021). A Novel Tool for Immersive Authoring of Experiential Learning in Virtual Reality. In
2021 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW) (pp. 44-49).
Coreografias virtuais: identificar e avaliar comportamentos

36
Coreografias virtuais:
representar
comportamentos em
plataformas distintas
Interoperable graphical rendering software

COREOGRAFIAS VIRTUAIS
conjuntos de
comportamentos,
interacções e
acontecimentos
interligados, que
ocorrem num
determinado
tempo e espaço,
com objectivos e
regras bem
definidos
37

Coreografias virtuais:
Que resposta dão?
Formação Digital Twins
• Treino
• Certificação
• Acompanhamento de
eventos relevantes
• …
• Representar
acontecimentos
• Simular cenários
• Apoio à decisão
• …
38

PROBLEMA
Conseguimos compreender o que está a
acontecer ou aconteceu, seja para
avaliação, apreciação e feedback
Mas se tivermos que lidar com dezenas ou mesmo
centenas de formandos? não é o mesmo que lidar
com “meia dúzia”…
39
Coreografias virtuais

40
Baptista et al. (2015). Relation between game genres and competences for in-game
certification. International Conference on Serious Games, Interaction, and SimulationVR and AR
in medical education
Coreografias virtuais: podem ajudar a agrupar comportamentos e a identificá-los
Acompanhamento da atividade: os formadores obtêm análises e feedback para decidirem como agir

41
Dias, T. (2023), How to Integrate Immersive Environments and Games into Business
Training Systems Using the Inven!RA Architecture. Dissertação de Mestrado. INESC TEC
Costa, D. (2023). Representation of virtual choreographies in learning dashboards of
interoperable LMS analytics. Dissertação de Mestrado. INESC TEC

Inde pe nde nte me nte :
• Atividade
• Dimensão
• Plataforma
• Formato
• Acompanhar multiplas
atividades e formandos
• Identificar comportamentos
relevantes
• Avaliar
• Certificar
42
Morgado et al. (2023) Inven!RA Architecture for Sustainable Deployment
of Immersive Learning Environments. In Sustainability, 2023
Inve n!RA +
Core ografias Vir tuais :

Fontes
Image ns
• S l i d e 2 :
• Imagem 1: gerado por Copilot em 13/12/2023
• Imagem 2: gerado por Copilot em 10/04/2024
• S l i d e 4
• imagem 1: https://design4real.de/wp-content/uploads/2023/11/VR-in-der-
Medizin.png
• S l i d e 5 :
• imagem 1: https://zealar.com.au/wp-content/uploads/2019/10/AR-for-
Healthcare-Industry-2.jpg
• S l i d e 6 :
• imagem 1: https://img.reality.news/img/32/36/63651345930857/0/hololens-
can-now-simulate-childbirth-train-medical-students.1280x600.jpg
• S l o i d e 7 :
• imagem 1: https://elbd.sites.uu.nl/wp-
content/uploads/sites/108/2022/09/extended_reality.png
• S l i d e 8 :
• imagem 1: https://staticg.sportskeeda.com/editor/2022/07/897f0-
16582378566644-1920.jpg
• iumage 2: https://assets.thehansindia.com/h-upload/2020/03/24/956832-ar-
toys.webp
• S l i d e 9 :
• imagem 1: https://www.purdue.edu/uns/images/2020/ramani-
augmentedLO.jpg
• imagem 2: https://images.pexels.com/photos/356079/pexels-photo-
356079.jpeg
43

Fontes
Image ns
• S l i d e 1 0 :
• imagem 1: https://matriculas.estacio.br/blog/wp-
content/uploads/2019/06/biomedicina-o-que-e-como-comecar-trabalhar-area-
estacio.jpg
• imagem 2: https://images.impresa.pt/sicnot/2023-07-04-Medicos-saude-
3ce52861/original
• S l i d e 2 6 :
• imagem 1: https://i0.wp.com/www.macamilliondollarman.com/wp-
content/uploads/2017/03/Houston-We-Have-Problem-Trailer-
Cover.jpg?fit=1200%2C676&ssl=1
• S l i d e 2 7 :
• imagem 1: gerado por Copilot em 13/12/2023
• S l i d e 2 8 :
• imagem
1:https://www.gamespot.com/a/uploads/original/gamespot/images/2004/reviews/57
7321-914949_20040602_002.jpg
• imagem 2: https://m.media-
amazon.com/images/I/71S5IDFTJrL._AC_UF1000,1000_QL80_.jpg
• S l i d e 3 8 :
• imagem 1: gerado por Copilot em 13/12/2023
44

Fontes
Bibliografia
• G a o J , Z h a n g X . T h e A p p l i c a t i o n s o f D i g i t a l E x t e n d e d R e a l i t y i n B i o m e d i c i n e . C l i n S u r g . 2 0 2 1 ; 6 : 3 3 4 4
• M y t h r e y e V e n k a t e s a n e t a l . , V i r t u a l a n d a u g m e n t e d r e a l i t y f o r b i o m e d i c a l a p p l i c a t i o n s , C e l l R e p o r t s M e d i c i n e ,
V o l u m e 2 , I s s u e 7 , 2 0 2 1 , 1 0 0 3 4 8 , I S S N 2 6 6 6 - 3 7 9 1 , h t t p s : / / d o i . o r g / 1 0 . 1 0 1 6 / j . x c r m . 2 0 2 1 . 1 0 0 3 4 8 .
• h t t p s : / / r e s e a r c h . a i m u l t i p l e . c o m / a r - i n - h e a l t h c a r e / a c e d i d o e m 1 2 / 0 4 / 2 0 2 4
• h t t p s : / / w w w . i m m e r s i v e l e a r n i n g . n e w s / 2 0 2 4 / 0 3 / 2 7 / t o p - 1 5 - m i x e d - r e a l i t y - c o m p a n i e s - i n - 2 0 2 4 - f r o n t i e r s - o f - i n n o v a t i o n /
a c e d i d o e m 1 2 / 0 4 / 2 0 2 4
• h t t p s : / / w w w . g 2 . c o m / c a t e g o r i e s / a u g m e n t e d - r e a l i t y a c e d i d d o e m 1 2 / 0 4 / 2 0 2 4
45

Obrigado
Fernando Cassola
fernando.c.marques@inesctec.pt
46
Ambientes
Imersivos
Estendidos
biomedicina e
saúde:
que caminhos?
/fernandocassola/
/fernandocassola/

Envision Biomed - Ambientes imersivos biomedicina e saúde que caminhos

Recomendados

Recomendados

Mais conteúdo relacionado

Semelhante a Envision Biomed - Ambientes imersivos biomedicina e saúde que caminhos

Semelhante a Envision Biomed - Ambientes imersivos biomedicina e saúde que caminhos (20)

Mais de Fernando Cassola Marques

Mais de Fernando Cassola Marques (17)

Envision Biomed - Ambientes imersivos biomedicina e saúde que caminhos

Notas do Editor