1. Programa Doutoral em Multimédia em Educação
MULTIMÉDIA E ACESSIBILIDADE
TouchViewer
tecnologia inclusiva no ensino das ciências biológicas
Nuno Ribeiro | Nuno Lopes | Susana Castro

2. INTRODUÇÃO
Como permitir a um aluno
cego ou com baixa visão
observar ao microscópio?
MMA 1
de
27

3. APRESENTAÇÃO DO CASO
Proposta tecnológica integrada que
permita aos alunos cegos e com baixa
visão (C-BV) explorar imagens ao
microscópio através do tacto.
MMA 2
de
27

4. PÚBLICO-ALVO
‣ Alunos Cegos e com Baixa Visão
‣ Alunos normovisuais (a sua percepção visual
poderá ser enriquecida através de modelos tácteis)
‣ 43.708 alunos de educação especial nas escolas
públicas no ano letivo 2010/11
MMA 3
de
27

5. PÚBLICO-ALVO
ANO LETIVO DE 2012/2013 - ESCOLA DE REFERÊNCIA NO ENSINO A C-BV
ESCOLA SECUNDÁRIA RODRIGUES DE FREITAS (PORTO)
• 28 alunos C-BV, sendo 7 C e 21 BV
• 6 professores especializados nas
áreas curriculares especificas:
‣ Orientação e mobilidade
‣ Terapia ocupacional
‣ Braille
‣ Programa complementar de TIC
• Centro de recursos: computadores com acesso à internet, linha braille,
leitor de ecrã, duas impressoras braille e uma máquina de imprimir
relevos
MMA 4
de
27

6. PÚBLICO-ALVO
ENTREVISTAS
‣ Rapariga de 13 anos, cega congénita, aluna do 8ºano na Escola
Secundária Rodrigues de Freitas
‣ Frequenta aulas de ciências biológicas com trabalho prático laboratorial de
microscopia
‣ Gosta muito das aulas e gostava de fazer muitas mais experiências
‣ Trabalho de grupo com posterior descrição oral dos colegas de grupo e do
professor da observação no microscópio
‣ Não consegue descrever uma célula
MMA 5
de
27

7. PÚBLICO-ALVO
ENTREVISTAS
‣ Jovem de 30 anos, cega congénita, psicóloga, mestre em gestão,
trabalhadora numa instituição financeira
‣ Estudou em escolas públicas em Espinho
‣ Teve aulas de ciências biológicas com trabalho prático laboratorial de
microscopia
‣ Considerava as aulas de ciências biológicas muito interessantes
‣ Trabalho de grupo com posterior descrição oral dos colegas de grupo e do
professor da observação no microscópio e apoio adicional do manual que
tinha imagens em relevo das observações básicas de microscopia
MMA 6
de
27

8. PÚBLICO-ALVO
DESCRIÇÃO DE UMA CÉLULA
“… a célula é uma roda com uma
pinta, a pinta pode ser mais
diferenciada dependendo do tipo de
célula, pode estar mais para um
lado do que para o outro, e pode
ser maior ou mais pequena.”
MMA 7
de
27

9. ENQUADRAMENTO DA PROBLEMÁTICA
VISÃO VS. AUDIÇÃO VS. TACTO
Uma imagem vale mais que mil palavras. Uma palavra, mais que mil toques.
Audição Visão Tacto
104
106
102
bits/seg
bits/seg
bits/seg
MMA 8
de
27

10. ENQUADRAMENTO DA PROBLEMÁTICA
‣ Conjunto de experiências
onde procuraram identificar as
causas da dificuldade dos
C-BV em percepcionar
imagens tácteis
‣ Reconhecimento de imagem
tácteis está correlacionado
com a complexidade do
estímulo, ou seja, quanto mais
simples a forma, mais
facilmente é percepcionada e
reconhecida a imagem
‣ Simplificação das imagens gráficas de modo a serem perceptíveis através do tacto
MMA 9
de
27
Fonte: (Kalia & Sinha, 2012)

11. requires a participant to hold a video camera in 1. J.C. Bliss et al., “O
approximately 1
on a thin tape. W
one hand while tactile information is displayed for the Blind,” IEE
ESTADO DA ARTE
lowing:
onto the other. In our system, the optical sensor 11, no. 1, Jan.-Ma
DISPOSITIVOS HÁPTICOS By pressing s
and the tactile display are located in practically I
2. C.C. Collins, “Tact
can be effect
the same place and work together as a new skin trical Image Projec
receptor. BASEADOS NAS ONDAS 11, no.
tems, vol.
BASEADOS NA VIBRAÇÃO
4 5 ACÚSTICAS DE SUPERFÍCIE
BASEADOS NA PRESSÃO SmartTool and SmartFinger are two 3. D. Stein, The Opt
augmented haptics applications that use sensors Federation of th
to capture information from an object. org/bm/bm98/bm
SmartTool captures information with a sensor 4. T. Nojima et al.,
attached at the tip of the tool and conveys it to the
8 The SAW mented Reality o
operator through a haptic force display. One
tactile display. Conf., IEEE CS Pre
proposed application is surgery. When a smart 5. H. Ando et al., “T
scalpel contacts a vital region such as an artery, the the Behavior Mo
sensor detects surface information, and the display Abstracts and App
produces a repulsive force to protect the region.
ELETRORREOLÓGICOS DE ESTIMULAÇÃO
OU MAGNETORREOLÓGICOS ELETRO-TÁCTIL Shear stress
Direction of M = rF2
the exploration Finger
Finger
M
Tape
Steel F1
balls
9 Generation r
of sources of (a)
shear stress that Object
Kinetic friction surface
can be modulat-
ed temporally 3 Effect of system
Shear stress becomes smaller
by burst waves ates frictional forc
of SAW.
a torsional momen
surface and display
Tape
MMA (a) 10
de
27
Squeeze force
Steel
greater torsional m
balls
haptic sensation.

12. ANÁLISE SWOT
FORÇAS FRAGILIDADES
Possibilita a percepção de imagens visuais Necessidade de simplificar as imagens gráficas para serem
através de interfaces hápticos; percetíveis através do tacto (limitação biológica do tacto);
Providencia a todos os alunos (C-BV e normovisuais) novas Previsível custo elevado da tecnologia existente;
experiências sensoriais que permitirão compreender melhor
Pouca versatilidade dos dispositivos hápticos existentes;
modelos complexos das ciências biológicas;
Pouca investigação feita na área do ensino das ciências biológicas a
Capacidade que a tecnologia desenvolvida terá para aumentar a
alunos C-BV.
motivação dos alunos C-BV para as Ciências.
Tecnologia criada pode ser aplicada noutros contextos Período de aceitação e adaptação dos alunos à tecnologia criada
para além do educativo; pode ser longo;
Capacidade da tecnologia para tornar as aulas de ciências biológicas Resistência dos professores à adopção de tecnologia
mais inclusivas, dando mais autonomia aos alunos C-BV; em sala de aula;
Previsível introdução do mercado de tablets e outros dispositivos Ausência de formação dos professores de ciências biológicas na área
hápticos que terão a capacidade de fornecer do ensino especial;
feedback táctil ao utilizador.
Ausência de formação dos professores de ensino especial na área
das ciências biológica;
Complexidade dos modelos visuais.
OPORTUNIDADES AMEAÇAS
MMA 11
de
27

13. PROPOSTA DE OTIMIZAÇÃO
TACTICS (TACTile Image Creation System)
O processo de conversão de imagens visuais em imagens tácteis é possibilitado
através de três passos distintos:
‣ Aquisição
‣ Simplificação
‣ Renderização
MMA 12
de
27
Fonte: (Way & Barner, 1997)

14. PROPOSTA DE OTIMIZAÇÃO
AQUISIÇÃO
‣ Input visual de uma câmara de filmar que captaria,
através da lente de um microscópio óptico presente
nas salas de aula, o que era visualizado nesse
microscópio
‣ Cada fotograma do sinal de vídeo seria então
convertido em tempo real utilizando a técnica de
processamento que simplifique os fotogramas
MMA 13
de
27

15. PROPOSTA DE OTIMIZAÇÃO
SIMPLIFICAÇÃO
Conjunto de algoritmos que
processam imagens para
produzir um conjunto vasto de
efeitos:
‣ K-means
‣ Sobel
‣ Aggregate (com desfoque)
‣ Aggregate (sem desfoque)
MMA 14
de
27

16. PROPOSTA DE OTIMIZAÇÃO
SIMPLIFICAÇÃO
‣ Os resultados demonstram que o processamento Aggregate (com desfoque)
foi o mais facilmente percepcionado
‣ O processamento Aggregate (com desfoque) é conseguido através diversos
algoritmos que desfocam, detetam os limites, segmentam e filtram a mediana
MMA 15
de
27

17. PROPOSTA DE OTIMIZAÇÃO
RENDERIZAÇÃO
‣ Output táctil das imagens já processadas era conseguido através de papel de
microcápsulas que, através da elevação dessas microcápsulas, cria relevo
‣ Impossibilidade de utilizar esta tecnologia para conversão de imagens em
tempo real
MMA 16
de
27

18. PROPOSTA DE OTIMIZAÇÃO
MMA 17
de
27
Fonte: Senseg [http://senseg.com/]

19. PROPOSTA DE OTIMIZAÇÃO
TECNOLOGIA E-SENSE
Baseia-se em três elementos:
‣ Película Tixel
‣ Módulo eletrónico
‣ Software
MMA 18
de
27

20. PROPOSTA DE OTIMIZAÇÃO
MMA 19
de
27

21. PROPOSTA DE OTIMIZAÇÃO
MMA 20
de
27

22. PROPOSTA DE OTIMIZAÇÃO
Vantagens do iPad:
‣ Acessibilidade do iOS (VoiceOver)
‣ Dimensão do ecrã
‣ Portabilidade
‣ Câmara de filmar/fotografar integrada
‣ Versatilidade do dispositivo
‣ Preço
MMA 21
de
27

23. MOCKUP/PROTÓTIPO
TOUCHVIEWER
INSIDE
MMA 22
de
27

24. MOCKUP/PROTÓTIPO
Imagem original Imagem processada
MMA 23
de
27

25. 27
de
27

26. MOCKUP/PROTÓTIPO
Compatível com
VoiceOver
MMA 25
de
27

27. MOCKUP/PROTÓTIPO
TOUCHVIEWER
MMA 26
de
27

28. CONCLUSÕES
‣ Desenvolver uma solução barata e integradora tendo em
consideração os princípios da inclusão e da acessibilidade
‣ Aumentar os níveis de interesse e autoconfiança do aluno pela
aprendizagem dos modelos visuais
‣ Capacitar a apreensão das formas reais dos modelos observados
‣ Experienciar as imagens de um modo multissensorial, potenciando
a aprendizagem e a compreensão dos modelos por parte dos
alunos normovisuais
‣ Possibilitar a utilização da tecnologia em diferentes domínios do
ensino que não apenas o das ciências biológicas ou fora do
contexto educativo
MMA 27
de
27