LoCoBoard:
Quadro Interactivo de Baixo Custo Recorrendo a
     Algoritmos de Visão por Computdor

              Christophe...
Sumário
Introdução
Contexto
Objectivos
Vídeo
Arquitectura
Algoritmos
Avaliações
Conclusões
Introdução

“Na era digital, a adopção de interfaces naturais
entre o Homem e a máquina torna-se cada vez
mais pertinente....
Contexto
Na educação, em particular, a utilização de
ferramentas interactivas, pretende:

 • Melhorar as práticas pedagógi...
Contexto

• Vasta panóplia de soluções comerciais

• Custo associado é geralmente elevado

• Difícil equipar de forma gene...
Objectivos
Desenvolver um Quadro Interactivo de código
aberto e de baixo custo
 •   Algoritmo de detecção PI são fundament...
Vídeo          (1)




(1) [http://tiny.cc/christophesoares]
Arquitectura

 CAPTURA SINAL DE   PRÉ-PROCESSAMENTO
      VIDEO              DA FRAME




   REPORTAR AS         DETECÇÃO ...
Arquitectura
                    OPENCV

 CAPTURA SINAL DE            PRÉ-PROCESSAMENTO
      VIDEO                       ...
Arquitectura
                    OPENCV

 CAPTURA SINAL DE            PRÉ-PROCESSAMENTO
      VIDEO                       ...
Arquitectura
                    OPENCV

 CAPTURA SINAL DE            PRÉ-PROCESSAMENTO
      VIDEO                       ...
Algo!tmos
Processamento       Quantidade
Algoritmos   Detecção do PI
                             do Centróide         de PI
       ...
Processamento       Quantidade
Algoritmos   Detecção do PI
                             do Centróide         de PI
       ...
Processamento       Quantidade
Algoritmos   Detecção do PI
                             do Centróide         de PI
       ...
Processamento       Quantidade
Algoritmos   Detecção do PI
                             do Centróide         de PI
       ...
Varrimento linear
Varrimento linear
Varrimento linear
Varrimento linear
Varrimento linear
Processamento       Quantidade
Algoritmos   Detecção do PI
                             do Centróide         de PI
       ...
Varrimento linear com
        salto
Varrimento linear com
        salto
Varrimento linear com
        salto
Varrimento linear com
        salto
Processamento       Quantidade
Algoritmos   Detecção do PI
                             do Centróide         de PI
       ...
1º Passo
1º Passo
2º Passo - Centróide
2º Passo - Centróide
2º Passo - Centróide
2º Passo - Centróide
Processamento       Quantidade
Algoritmos   Detecção do PI
                             do Centróide         de PI
       ...
Previsão e Espiral
Previsão e Espiral
Previsão e Espiral
Previsão e Espiral
Previsão e Espiral
Previsão e Espiral
Previsão e Espiral
Centróide
Centróide
Centróide
Centróide
Processamento      Quantidade
Algoritmos    Detecção do PI
                              do Centróide        de PI
       ...
Reconhecimento de PI
Reconhecimento de PI
Reconhecimento de PI
Reconhecimento de PI
Constituição de grupos e
    seus centróides
Constituição de grupos e
    seus centróides
Avaliações
Criamos seis vídeos com o intuito de obter um
ambiente heterogéneo com as seguintes
particularidades:


 • Três...
Avaliações
                        Desempenho   Precisão

Algoritmos Varrimento
 Linear Total (A1,A5)       *         ***
...
Avaliações
             Desempenho

       <S                 >S
A3
        *                 ***
       <N               ...
Avaliações


                 CCV (Tbeta)   LoCoBoard

Consumo Médio
                   68.3 %       32.1 %
   do CPU
Conclusão
• O s o b j e c t i vo s f o r a m t o t a l m e n t e
   cumpridos.

• Esta aplicação é uma solução simples,
  ...
Conclusão
Trabalho futuro:

 • Comutação automática do algoritmo
    detecção;

 • Variantes na detecção de mancha -
    c...
NUI Group
LoCoBoard
Próximos SlideShares
Carregando em…5
×

LoCoBoard

695 visualizações

Publicada em

Publicada em: Tecnologia
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

LoCoBoard

  1. 1. LoCoBoard: Quadro Interactivo de Baixo Custo Recorrendo a Algoritmos de Visão por Computdor Christophe Soares Orientadores: Rui S. Moreira | José M. Torres Porto, 18 de Dezembro 2009
  2. 2. Sumário Introdução Contexto Objectivos Vídeo Arquitectura Algoritmos Avaliações Conclusões
  3. 3. Introdução “Na era digital, a adopção de interfaces naturais entre o Homem e a máquina torna-se cada vez mais pertinente. Fala, gestos e escrita manual serão parte integrante da interacção com os computadores, televisões e telemóveis”
  4. 4. Contexto Na educação, em particular, a utilização de ferramentas interactivas, pretende: • Melhorar as práticas pedagógicas, • Auxiliar a compreensão de conceitos complexos, • Permitir o trabalho colaborativo
  5. 5. Contexto • Vasta panóplia de soluções comerciais • Custo associado é geralmente elevado • Difícil equipar de forma generalizada estabelecimentos de ensino
  6. 6. Objectivos Desenvolver um Quadro Interactivo de código aberto e de baixo custo • Algoritmo de detecção PI são fundamentais à sua implementação Fundamental requisitos hardware minimalistas, i.e., • Computador com webcam • Videoprojector • Apontador IR Facilitar o uso e a massificação do Quadro Interactivo
  7. 7. Vídeo (1) (1) [http://tiny.cc/christophesoares]
  8. 8. Arquitectura CAPTURA SINAL DE PRÉ-PROCESSAMENTO VIDEO DA FRAME REPORTAR AS DETECÇÃO E COORDENADAS TRACKING DE BLOBS
  9. 9. Arquitectura OPENCV CAPTURA SINAL DE PRÉ-PROCESSAMENTO VIDEO DA FRAME REPORTAR AS DETECÇÃO E COORDENADAS TRACKING DE BLOBS
  10. 10. Arquitectura OPENCV CAPTURA SINAL DE PRÉ-PROCESSAMENTO VIDEO DA FRAME REPORTAR AS DETECÇÃO E COORDENADAS TRACKING DE BLOBS ALGORITMOS
  11. 11. Arquitectura OPENCV CAPTURA SINAL DE PRÉ-PROCESSAMENTO VIDEO DA FRAME REPORTAR AS DETECÇÃO E COORDENADAS TRACKING DE BLOBS TUIO / QT ALGORITMOS
  12. 12. Algo!tmos
  13. 13. Processamento Quantidade Algoritmos Detecção do PI do Centróide de PI Varrimento Sistema de A1 PI Único linear Médias Varrimento Sistema de A2 PI Único linear com salto Médias Varrimento A3 Sistema em cruz PI Único linear com salto Varrimento em espiral A4 Sistema em cruz PI Único conjugado com A3 Sistema Varrimento A5 adaptado a Multi-Ponto linear grupos
  14. 14. Processamento Quantidade Algoritmos Detecção do PI do Centróide de PI Varrimento Sistema de A1 PI Único linear Médias Varrimento Sistema de A2 PI Único linear com salto Médias Varrimento A3 Sistema em cruz PI Único linear com salto Varrimento em espiral A4 Sistema em cruz PI Único conjugado com A3 Sistema Varrimento A5 adaptado a Multi-Ponto linear grupos
  15. 15. Processamento Quantidade Algoritmos Detecção do PI do Centróide de PI Varrimento Sistema de A1 PI Único linear Médias Varrimento Sistema de A2 PI Único linear com salto Médias Varrimento A3 Sistema em cruz PI Único linear com salto Varrimento em espiral A4 Sistema em cruz PI Único conjugado com A3 Sistema Varrimento A5 adaptado a Multi-Ponto linear grupos
  16. 16. Processamento Quantidade Algoritmos Detecção do PI do Centróide de PI Varrimento Sistema de A1 PI Único linear Médias Varrimento Sistema de A2 PI Único linear com salto Médias Varrimento A3 Sistema em cruz PI Único linear com salto Varrimento em espiral A4 Sistema em cruz PI Único conjugado com A3 Sistema Varrimento A5 adaptado a Multi-Ponto linear grupos
  17. 17. Varrimento linear
  18. 18. Varrimento linear
  19. 19. Varrimento linear
  20. 20. Varrimento linear
  21. 21. Varrimento linear
  22. 22. Processamento Quantidade Algoritmos Detecção do PI do Centróide de PI Varrimento Sistema de A1 PI Único linear Médias Varrimento Sistema de A2 PI Único linear com salto Médias Varrimento A3 Sistema em cruz PI Único linear com salto Varrimento em espiral A4 Sistema em cruz PI Único conjugado com A3 Sistema Varrimento A5 adaptado a Multi-Ponto linear grupos
  23. 23. Varrimento linear com salto
  24. 24. Varrimento linear com salto
  25. 25. Varrimento linear com salto
  26. 26. Varrimento linear com salto
  27. 27. Processamento Quantidade Algoritmos Detecção do PI do Centróide de PI Varrimento Sistema de A1 PI Único linear Médias Varrimento Sistema de A2 PI Único linear com salto Médias Varrimento A3 Sistema em cruz PI Único linear com salto Varrimento em espiral A4 Sistema em cruz PI Único conjugado com A3 Sistema Varrimento A5 adaptado a Multi-Ponto linear grupos
  28. 28. 1º Passo
  29. 29. 1º Passo
  30. 30. 2º Passo - Centróide
  31. 31. 2º Passo - Centróide
  32. 32. 2º Passo - Centróide
  33. 33. 2º Passo - Centróide
  34. 34. Processamento Quantidade Algoritmos Detecção do PI do Centróide de PI Varrimento Sistema de A1 PI Único linear Médias Varrimento Sistema de A2 PI Único linear com salto Médias Varrimento A3 Sistema em cruz PI Único linear com salto Varrimento em espiral A4 Sistema em cruz PI Único conjugado com A3 Sistema Varrimento A5 adaptado a Multi-Ponto linear grupos
  35. 35. Previsão e Espiral
  36. 36. Previsão e Espiral
  37. 37. Previsão e Espiral
  38. 38. Previsão e Espiral
  39. 39. Previsão e Espiral
  40. 40. Previsão e Espiral
  41. 41. Previsão e Espiral
  42. 42. Centróide
  43. 43. Centróide
  44. 44. Centróide
  45. 45. Centróide
  46. 46. Processamento Quantidade Algoritmos Detecção do PI do Centróide de PI Varrimento Sistema de A1 PI Único linear Médias Varrimento Sistema de A2 PI Único linear com salto Médias Varrimento A3 Sistema em cruz PI Único linear com salto Varrimento em espiral A4 Sistema em cruz PI Único conjugado com A3 Sistema Varrimento A5 (2) adaptado a Multi-Ponto linear grupos (2) [http://geekblog.nl/entry/24]
  47. 47. Reconhecimento de PI
  48. 48. Reconhecimento de PI
  49. 49. Reconhecimento de PI
  50. 50. Reconhecimento de PI
  51. 51. Constituição de grupos e seus centróides
  52. 52. Constituição de grupos e seus centróides
  53. 53. Avaliações Criamos seis vídeos com o intuito de obter um ambiente heterogéneo com as seguintes particularidades: • Três tipos de acções - cliques, movimentos e uma combinação de ambos; • Dois ambientes - com e sem ruído.
  54. 54. Avaliações Desempenho Precisão Algoritmos Varrimento Linear Total (A1,A5) * *** Algoritmos Varrimento com Salto Total (A2) ** ** Algoritmos Varrimento Linear com Salto (A3) *** * Melhor *** Médio ** Pior *
  55. 55. Avaliações Desempenho <S >S A3 * *** <N >N A4 *** * Melhor *** Médio ** Pior *
  56. 56. Avaliações CCV (Tbeta) LoCoBoard Consumo Médio 68.3 % 32.1 % do CPU
  57. 57. Conclusão • O s o b j e c t i vo s f o r a m t o t a l m e n t e cumpridos. • Esta aplicação é uma solução simples, económica e eficiente. • As avaliações permitiram-nos identificar os algoritmos com maiores potencialidades.
  58. 58. Conclusão Trabalho futuro: • Comutação automática do algoritmo detecção; • Variantes na detecção de mancha - cálculo centróide; • Desenvolver o multi-toque.
  59. 59. NUI Group

×