Rastreamento de Objetos em Realidade Virtual e Realidade Aumentada

0© Copyright IBM Corporation 2020.
Dr. Mauro Pichiliani
Pesquisador/cientista
IBM Research Lab
Rastreamento de Objetos em Realidade Virtual e
Realidade Aumentada

• Introdução
• Aplicações de rastreamento em RV, RA, RM
• Rastreamento por visão computacional
• Rastreamento por sensores
• Rastreamento por instrumentação
• Atividade
• Pausa e trabalho em grupo
• Apresentação dos grupos
• Discussão
• Conclusão
Sumário

• Realidade Virtual (RV), Realidade Aumentada (RA)
e Realidade Mista (RM) cada vez mais populares:
• Celulares
• Consoles
• HMDs (Head Mounted Displays)
Introdução

• Projetos posuem vários objetivos, requisitos e aspectos
• Balanceamento constante entre realidade e simulação
• Experiências com RV, RA e RM prezam pela imersão
• Foco do workshop: rastreamento de objetos
• Rastreamento envolve:
• Descobrir posição do objeto no mundo real
• Capturar estado e comportamento
• Representar o objeto no ambiente/mundo virtual
• Permitir interatividade
Introdução

• Muito além de games:
Aplicações RV, RA, RM

• Fornecedores permitindo rastreamento de partes do corpo
• Uso de dispositivos para instrumentar corpo/objetos
Aplicações RV, RA, RM - Fabricantes

• Visão computacional: forma mais popular para posicionamento do objeto
físico dentro de um espaço virtual
• Requer câmera (RGB, RGBD), marcadores, algoritmo e processamento
• Prós:
• Solução simples
• Custo baixo/médio
• Diversos algoritmos (precisão variada)
• Contras:
• Ruido devido à luminosidade do ambiente
• Latência razoável (processamento das imagens)
• Escalabilidade: Room-scale requer diversos dispositivos
• Difícil capturar estado/comportamento (oclusão)
Rastreamento por visão computacional

• Muito usado em aplicacões de realidade aumentada
• Marcadores fiduciais:
• Diversos toolkits, frameworks, plug-ins e pacotes
• Série de filtros e algoritmos:
• Filtro de deteção de borda (filtro de Sobell)
• Detecção de rotação/translação (optical flow)
• Posicionamento para imagem em ambiente 3D (posit co-planar)
• Instrumentação depende do objeto e da camera
• Usuário com HMD não “vê” marcador: possível perda do rastreio
Visão computacional: marcadores fiduciais

• Utilizados em MOCAP (Motion Capture)
• Requer câmera com filtro de luz infra-vermelho (ex: OptiTrack >60 fps)
• Marcadores:
• Ativos (LED IR)
• Passivos (objetos com tinta retro-reflexiva)
• VIVE Tracker, HTC Valve e outros permitem room-scale tracking
• Studio de MOCAP
• Interpolação bilinear (câmera com lente grande angular)
• Threshold de luminosidade
• Limitação de pontos (algoritmo FloodFill)
• Clustering de pontos (DBScan)
Visão computacional: marcadores ativos/passivos

Visão computacional: exemplos

• Sensores e uso de componentes eletrônicos:
• Posicionamento: acelerômetros, magnetômetros, giroscópios, GPS
• Comportamento: push buttons, sliders, sensor de toque, sensor hall
• Atuação: servos, motores, ventiladores
• Prós:
• Alta precisão
• Custo médio
• Integração com objetos existentes
• Simulação de comportamento (velocidade =>vento, tranco => vibração)
• Contras:
• Mapeamento do mundo virtual com o mundo real
• Cuidados especiais com eletrônicos (fios, bateria, calibração, peso)
• Processamento adicional (ex: microcontrolador)
Rastreamento por sensores

• Instrumentação pode alterar características do objeto:
• Peso
• Dimensões
• Ocultar parte do objeto
• Uso por tempo limitado (battery life)
• Comunicação sem fio gera latência
• Algoritmos para tratar sinal podem requerer muito processamento
• Filtro de ruído do sensor (ex: moving average, kalman filter)
• Thresholds de deteção (ex: filtro passa-alta)
• Conversão de métricas (ex: cm para pixels)
Sensores na prática

Rastreamento por sensors - Exemplos

• TinyDuino: plataforma de módulos acopláveis
• Microcontroladores, sensores, módulos de comunicação
• Módulo para coin cell (bateria de relógio)
• Suporta ecossistema da plataforma arduino
• Usado para projetos vestíveis (wearables)
• Requer processamento externo
Rastreamento por sensores – TinyDuino

• Demo: TinyDuino com módulo de posionamento (acelerômetro)
Rastreamento por sensores - Demo

• Instrumentação do usuário por dispositivos (wearables)
• Feedback sensorial
• Uso de gestos
• Exemplos: luvas, anéis, coletes, sapatos, tatuagens temporárias
• Prós:
• Alta sensibilidade na captação de músculos e partes do corpo
• Deteção de nuances
• Uso de gestos
• Contras:
• Calibração para cada usuário
• Fadiga
• Processamento adicional (ex: microcontrolador)
Rastreamento por instrumentação

Rastreamento por instrumentação - Detalhes
• Instrumentação do usuário levanta outras questões:
• Conforto
• Fadiga
• Acessibilidade
• Uso contínuo
• Produtos wearables do mercado tem aspecto estético
• Precisão é limitada em detrimento do visual
• Wearables de medição biométrica: sem precisão clínica
• Muito cuidado com o usuário: não forçar o uso daquilo que ele não se
sente confortável de usar!
• Diversos requisitos iguais ou mais restritos do que uso de sensores

Instrumentação: exemplos

Instrumentação: outros

• Parte prática do workshop: imaginar uso virtual de objetos em cenários
• Atividade em grupo (canal do Discord)
• Entre no canal de acordo com o tema/grupo que você escolher
• Para cada cenário:
• Sugerir contexto de uso (RV, RA, RM)
• Escolher objetos e indicar como eles vão ser usados
• Descrever a técnica de rastreamento para cada objeto
• Cada grupo deve escolher um membro para apresentar
• Sugestão: montar um slide ou imagem para ilustrar as idéias
Atividade em grupo - Ideação

• Cenário 1: Aplicação para treinar novos dentistas
• Sugestão de objetos:
Atividade em grupo – Cenário 1

• Cenário 2: Ensinar a preparar um prato usando objetos da cozinha

• Cenário 3: Sessão de fisioterapia virtual

• Cenário 4: Jogo virtual de desatar/atar nós em corda

• Cenário 5: Simular cuidados com bonsai/jardinagem

• IMPORTANTE: ~20 minutos para cada grupo trabalhar
• Link do DISCORD: http://bit.ly/discord-eventos-nacionais
• Canal Discord Grupo 1 (Dentista)
• Canal Discord Grupo 2 (Cozinha)
• Canal Discord Grupo 3 (Fisioterapia)
• Canal Discord Grupo 4 (Nós)
• Canal Discord Grupo 5 (Bonsai)
• IMPORTANTE: ~7 minutos para cada grupo apresentar!
• Voltamos às 16:50
Pausa e mão à obra!

• Grupo 1 (Dentista):
• Grupo 2 (Cozinha):
• Grupo 3 (Fisioterapia):
• Grupo 4 (Nós):
• Grupo 5 (Bonsai):
Apresentação dos grupos

• Cenários reais?
• Complexidade?
• Viabilidade?
• Outras ideias?
Discussão

Conclusão
• Rastreamento de objetos em RV, RA e RM contribui para a imersão
• Diversas formas de trazer objetos para o mundo virtual
• Visão Computacional é a mais comum
• Sensores permitem várias possibilidades
• Instrumentação requer atenção especial com o usuário
• Novas experiências vão cada vez mais mesclar o mundo físico com o
mundo/ambiente virtual

Obrigado!
Dr. Mauro Pichiliani
@pichiliani

Rastreamento de Objetos em Realidade Virtual e Realidade Aumentada

Mais conteúdo relacionado

Mais procurados

Semelhante a Rastreamento de Objetos em Realidade Virtual e Realidade Aumentada

Mais de pichiliani

Rastreamento de Objetos em Realidade Virtual e Realidade Aumentada

Notas do Editor