Previsão de colisão múltipla em tempo real para Sistemas de Assistência ao Motorista
•Transferir como PPTX, PDF•
0 gostou•8 visualizações
proposta
Recomendados
Recomendados
Mais conteúdo relacionado
Último
Último (20)
Destaque
Destaque (20)
Previsão de colisão múltipla em tempo real para Sistemas de Assistência ao Motorista
- 1. CIn.ufpe.br Uma abordagem para proteção de múltiplos pedestres em tempo real baseada em previsão de colisão aplicada a sistemas de assistência ao motorista Aluno: Lucas Fernando da Silva Cambuim Orientadora: Profa. Dra. Edna Natividade da Silva Barros
- 2. • Contextualização • Objetivo • Trabalhos relacionados • Abordagem proposta • Resultados preliminares • Conclusão • Próximas atividades Agenda
- 3. Contextualização Benefícios dos veículos 3 • Agilidade • Conforto • Segurança
- 4. Contextualização Benefícios dos veículos 4 • Quantidade maior de veículos • Veículos mais rápidos
- 5. Contextualização Lado obscuro - Acidentes de trânsito 5 • No mundo, por ano, 1.35 milhão de pessoas morrem como resultado de acidentes de trânsito.
- 6. Contextualização Lado obscuro - Acidentes com pedestre 6
- 7. Contextualização Consequências de acidentes com pedestres 7 • No Brasil, em 2016, pedestres representaram 18% de um total de 41.000 mortes
- 8. Contextualização Consequências de acidentes com pedestre 8 • Danos físicos e mentais − Lesões cerebrais − Lesões na espinha dorsal − Amputações
- 9. Contextualização Consequências de acidentes com pedestre 9 • Danos psicológicos − Traumas emocionais
- 10. Contextualização Causas de acidentes com pedestre 10 • Somente em 2017, 3.166 pessoas foram mortas em acidentes de automóvel envolvendo motoristas distraídos.
- 11. Contextualização Causas de acidentes com pedestre 11 • Motorista dobrando uma rua • Motorista intoxicado • Condições ambientais ruins • Pedestres imprudentes ou distraídos
- 12. Contextualização Cenários típicos colisão 12 • Travessia lateral
- 13. Contextualização Sistemas de proteção ao pedestre (SPPs) 13 • Sistemas passivos
- 14. Contextualização Sistemas de proteção ao pedestre (SPPs) 14 • Sistemas ativos
- 15. Contextualização Sistemas de proteção ao pedestre (SPPs) 15 • Sistemas ativos
- 16. Contextualização Sistemas de proteção ao pedestre (SPPs) 16 • Sistemas ativos
- 17. Contextualização Sensores em SPPs ativos 17
- 18. Contextualização Câmeras em SPPs ativos 18 • Baixo custo • Grande quantidade de informações do ambiente
- 19. Contextualização 19 • Percepção - Detecção de pedestres Componentes de SPPs baseados em câmera
- 20. Contextualização Componentes de SPPs baseados em câmera 20 • Percepção - Estimação de distância
- 21. Contextualização Componentes de SPPs baseados em câmera 21 • Percepção - Estimação de distância − Correspondência Estéreo: Calcula a disparidade de cada pixel, resultando em um mapa de disparidades. Esquerda Direita Mapa de disparidade Correspondência Estéreo
- 22. Contextualização Componentes de SPPs baseados em câmera 22 • Percepção - Rastreamento de pedestres Fluxo temporal
- 23. Contextualização Componentes de SPPs baseados em câmera 23 • Projeção de estados - Previsão de trajetórias ??
- 24. Contextualização Componentes de SPPs baseados em câmera 24 • Projeção de estados - Previsão de colisão Colisão potencial Colisão potencial
- 25. Contextualização Desafios em SPPs baseados em câmera 25 • Suporte à múltiplos pedestres
- 26. Contextualização Desafios em SPPs baseados em câmera 26 • Processamento em tempo real − Previsão mais cedo de uma colisão • Imagens em alta resolução − Estimativas mais precisas da localização do pedestre − Detecção de mais pedestres
- 27. Contextualização Desafios em SPPs baseados em câmera 27 • Captura da dinâmica do pedestre e sua intenção. − Previsão mais precisa de sua trajetória futura − Redução de falsas previsões de colisões − Tomadas de decisão mais antecipadas. − Soluções que combinam múltiplos modelos de dinâmica são atrativas
- 28. Objetivo Desenvolvimento de um SPP baseado em câmera que seja capaz de realizar a previsão de colisão envolvendo múltiplos pedestres processando imagens em alta resolução, em tempo real, com suporte à múltiplos modelos para previsão de trajetória. 28
- 29. Lee et al. 2017: Design of emergency braking algorithm for pedestrian protection based on multi-sensor fusion. • Características - Fusão de sensores (câmera, radar, LIDAR) para detecção de pedestre e estimação de distância. - Frenagem automática Trabalhos relacionados 29
- 30. Lee et al. 2017: Design of emergency braking algorithm for pedestrian protection based on multi-sensor fusion. • Desvantagem - Taxa de processamento: 11 FPS - Resolução de imagem: 640 x 480 - Rastreamento baseado em movimento com filtragem por proximidade - Não suporta múltiplos pedestres - Filtro de Kalman de modelo único Trabalhos relacionados 30
- 31. Keller et al. 2014: Stereo-based Pedestrian Detection and Path Prediction • Características - Detecção de pedestre baseada em imagem - Visão estéreo semi-global para estimação de distância - Rastreamento baseado em movimento com associação global - Desvio automático Trabalhos relacionados 31
- 32. Keller et al. 2014: Stereo-based Pedestrian Detection and Path Prediction • Desvantagem - Taxa de processamento: 15 FPS - Resolução de imagem: 640 x 480 - Não concebido para múltiplos pedestres - Filtro de Kalman de modelo único Trabalhos relacionados 32
- 33. Llorca et al. 2011: Autonomous pedestrian collision avoidance using a fuzzy steering controller. • Características - Detecção de pedestre baseado em imagem. - Rastreamento baseado em movimento com associação global - Desvio automático Trabalhos relacionados 33
- 34. Llorca et al. 2011: Autonomous pedestrian collision avoidance using a fuzzy steering controller. • Desvantagem - Taxa de processamento: 20 FPS - Resolução de imagem: 320 x 240 - Visão estéreo esparsa para estimação de distância. - Não suporta múltiplos pedestres Trabalhos relacionados 34
- 35. Park et al. 2017: Design of pedestrian target selection with funnel map for pedestrian AEB system. • Características - Fusão de sensores (câmera e radar) para detecção de pedestre e estimação de distância. - Aviso + Frenagem automática - Resolução de imagem: 1280 x 960 Trabalhos relacionados 35
- 36. Park et al. 2017: Design of pedestrian target selection with funnel map for pedestrian AEB system. • Desvantagem - Taxa de processamento: 10 FPS - Não suporta múltiplos pedestres - Filtro de Kalman de modelo único Trabalhos relacionados 36
- 37. Trabalhos relacionados Critérios Referência Keller et al. (2014) Lee et al. (2017) Llorca et al. (2011) Park et al. (2017) Taxa de processamento 15 FPS 11 FPS 20 FPS 10 FPS Suporte à múltiplos pedestres Não Não Não Não Método de estimação de profundidade Visão estéreo denso global Radar Visão estéreo esparso local Radar Resolução de imagem 640 x 480 640 x 480 320 x 240 1280 x 960 37 Comparativo
- 38. Trabalhos relacionados Critérios Referência Keller et al. (2014) Lee et al. (2017) Llorca et al. (2011) Park et al. (2017) Método de previsão de trajetória do pedestres Modelo único Modelo único Modelo único Modelo único Método de rastreamento Baseado em movimento com Associação Global Baseado em movimento com Filtragem por proximidade Baseado em movimento com Associação Global Não informado 38 Comparativo
- 41. Abordagem proposta 41 Distorção Removida Objeto observado no mundo real Retificação realizada (linhas horizontais alinhadas) Esquerda Direita Imagens capturadas pelas câmeras Retificação Estéreo
- 44. Abordagem proposta 44 Detecção de Pedestres • Extrator de Característica: HOG • Classificador Binário: SVM
- 46. Abordagem proposta 46 Visão Estéreo • Correspondência Estéreo: Semi-global
- 48. Abordagem proposta 48 Estimação de distância • Lateral (𝑢) • Longitudinal (𝑑)
- 50. Abordagem proposta 50 Rastreamento de pedestres • Movimento: Filtro de Kalman Estendido (FKE) (𝑣𝑒 , 𝜓𝑒 ) 𝐱 = (𝑥, 𝑧, 𝑣𝑥, 𝑣𝑧) 𝒛 = (u, d)
- 51. Abordagem proposta 51 Rastreamento de pedestres • Movimento: Filtro de Kalman Estendido (FKE) – Compensação de movimento de veículo
- 52. Abordagem proposta 52 Rastreamento de pedestres • Associação de rastros e detecções
- 54. Abordagem proposta 54 Previsão de trajetória do pedestre • Repetição da etapa de previsão do EKF
- 55. Abordagem proposta 55 Previsão de trajetória do pedestre • Transformação para o espaço do veículo. Centro de coordenada do veículo
- 56. Abordagem proposta 56 Previsão de trajetória do veículo
- 57. Abordagem proposta 57 Previsão de trajetória
- 59. Abordagem proposta 59 Análise de Interseção
- 60. Abordagem proposta 60 Análise de Interseção
- 61. Abordagem proposta 61 Previsão de colisão
- 62. Resultados preliminares 62 Qualidade • Previsão de trajetória do pedestre Dobrando Parando Iniciando Atravessando
- 63. Resultados preliminares 63 Qualidade • Previsão de trajetória do pedestre
- 64. Resultados preliminares 64 Qualidade • Detecção, estimação de distância, rastreamento e previsão de trajetória (a) (b)
- 65. Resultados preliminares 65 Qualidade • Detecção, estimação de distância, rastreamento e previsão de trajetória
- 66. Resultados preliminares 66 Qualidade • Detecção, estimação de distância, rastreamento e previsão de trajetória
- 67. Resultados preliminares 67 Qualidade • Previsão de colisão – Criação de banco de dados CPFA-50 CPNA-25 CPNA-75 CPNC-50
- 68. Resultados preliminares 68 Qualidade • Previsão de colisão – Criação de banco de dados Fluxo temporal Fluxo temporal
- 69. Resultados preliminares 69 Qualidade • Previsão de colisão
- 70. Resultados preliminares 70 Desempenho de processamento • Plataforma: – GPP: core I5-9400F de 2.90GHz e 16 GB de RAM – GPU: RTX 2070 de 8 GB PCI-Express GPP GPU
- 71. Resultados preliminares 71 Desempenho de processamento • Tempo de processamento e FPS • Resolução: 1280 x 720
- 72. Resultados preliminares Critérios SPPs Keller et al. (2014) Lee et al. (2017) Llorca et al. (2011) Park et al. (2017) Proposto Taxa de processamento 15 FPS 11 FPS 20 FPS 10 FPS 30 FPS Suporte à múltiplos pedestres Não Não Não Não Não Método de estimação de profundidade Visão estéreo denso global Radar Visão estéreo esparso local Radar Visão estéreo denso global Resolução de imagem 640 x 480 640 x 480 320 x 240 1280 x 960 1280 x 720 72 Comparativo com SPPs existentes
- 73. Resultados preliminares Critérios SPPs Keller et al. (2014) Lee et al. (2017) Llorca et al. (2011) Park et al. (2017) Proposto Método de rastreamento Baseado em movimento com Associação Global Baseado em movimento com Filtragem por proximidade Baseado em movimento com Associação Global Não informado Baseado em movimento com Associação Global Método de previsão de trajetória Modelo único Modelo único Modelo único Modelo único Modelo único 73 Comparativo com SPPs existentes
- 74. Demonstração 74
- 75. Conclusão 75 • Essa tese de doutorado propõe um sistema de proteção à múltiplos pedestres baseado em imagens. • Esse sistema é constituído de abordagens para a realização da previsão de colisão, quantificação de risco e tomada de decisão. • Todas as etapas para realização de previsão de colisão foram implementadas como detecção de pedestres, estimação de posição, visão estéreo, rastreamento, previsão de trajetória e análise de interseção.
- 76. Conclusão 76 • Avaliações foram realizadas na detecção, no rastreamento e na previsão de trajetória com banco de dados real público envolvendo um pedestre. • Destacamos a robustez do sistema para previsão de trajetória ao lidar com imprecisões do detector.
- 77. Conclusão 77 • Criamos um banco de dados sintético a partir do simulador CARLA e uma métrica para avaliação da previsão de colisão. • Atualmente o desempenho de processamento do sistema de previsão de colisão está em torno de 31 FPS processando imagens em resolução HD.
- 78. Próximas atividades 78 • Avaliação de precisão será realizada com banco de dados envolvendo múltiplos pedestres.
- 79. Próximas atividades 79 • Melhorias poderão ser realizadas nas etapas de detecção, estimação de posição e rastreamento para dar suporte a múltiplos pedestres. • Melhorias na previsão de trajetória para capturar mudanças de dinâmicas dos pedestres com mais antecedência.
- 80. Próximas atividades 80 • Codificação de todas as etapas em linguagem C++ e • Otimização de desempenho em FPGA ou GPU PCI-Express GPP GPU FPGA
- 81. Próximas atividades 81 • Aumentaremos a base de dados sintética com cenários envolvendo múltiplos pedestres. • Criaremos métricas para avaliação da previsão de colisão.
- 82. Próximas atividades 82 • Criação de uma base de dados em cenário real para avaliação do sistema proposto – desenvolvimento de um sistema para coletar dados tanto dos frames estéreo como da velocidade e taxa de guinada do veículo – preparação de um manequim controlável para representar o movimento do pedestre – Obtenção de resultados
- 83. Próximas atividades 83 • Validação do sistema de previsão de colisão processando dentro do veículo em tempo real. – Implementação de uma abordagem para quantificação de risco e tomada de decisão (simples) para alertar o motorista. – Introdução de todo o sistema de processamento dentro do veículo. – Definição de estratégia de realização de testes – Obtenção de resultados. • Escrita da tese
- 84. CIn.ufpe.br Uma abordagem para proteção de múltiplos pedestres em tempo real baseada em previsão de colisão aplicada a sistemas de assistência ao motorista Aluno: Lucas Fernando da Silva Cambuim Orientadora: Profa. Dra. Edna Natividade da Silva Barros
Notas do Editor
- device that detects and responds to some type of input from the physical environment. temperature, pressure, level, humidity, speed, motion, distance, light or the presence/absence of an object and many other types São dispositivos que detectam e medem algum tipo de entrada a partir do ambiente físico. São utilizados pelos sistemas embarcados para poder interagir com o ambiente. Medem uma enorme variedade de condições Tais como: temperatura, pressão, humidade, velocidade e muitos outros Particularmente: Medição de Distância (profundidade)
- device that detects and responds to some type of input from the physical environment. temperature, pressure, level, humidity, speed, motion, distance, light or the presence/absence of an object and many other types São dispositivos que detectam e medem algum tipo de entrada a partir do ambiente físico. São utilizados pelos sistemas embarcados para poder interagir com o ambiente. Medem uma enorme variedade de condições Tais como: temperatura, pressão, humidade, velocidade e muitos outros Particularmente: Medição de Distância (profundidade)
- device that detects and responds to some type of input from the physical environment. temperature, pressure, level, humidity, speed, motion, distance, light or the presence/absence of an object and many other types São dispositivos que detectam e medem algum tipo de entrada a partir do ambiente físico. São utilizados pelos sistemas embarcados para poder interagir com o ambiente. Medem uma enorme variedade de condições Tais como: temperatura, pressão, humidade, velocidade e muitos outros Particularmente: Medição de Distância (profundidade)
- Colocar onde foi e o ano
- device that detects and responds to some type of input from the physical environment. temperature, pressure, level, humidity, speed, motion, distance, light or the presence/absence of an object and many other types São dispositivos que detectam e medem algum tipo de entrada a partir do ambiente físico. São utilizados pelos sistemas embarcados para poder interagir com o ambiente. Medem uma enorme variedade de condições Tais como: temperatura, pressão, humidade, velocidade e muitos outros Particularmente: Medição de Distância (profundidade)
- Colocar onde foi o ano
- device that detects and responds to some type of input from the physical environment. temperature, pressure, level, humidity, speed, motion, distance, light or the presence/absence of an object and many other types São dispositivos que detectam e medem algum tipo de entrada a partir do ambiente físico. São utilizados pelos sistemas embarcados para poder interagir com o ambiente. Medem uma enorme variedade de condições Tais como: temperatura, pressão, humidade, velocidade e muitos outros Particularmente: Medição de Distância (profundidade)
- device that detects and responds to some type of input from the physical environment. temperature, pressure, level, humidity, speed, motion, distance, light or the presence/absence of an object and many other types São dispositivos que detectam e medem algum tipo de entrada a partir do ambiente físico. São utilizados pelos sistemas embarcados para poder interagir com o ambiente. Medem uma enorme variedade de condições Tais como: temperatura, pressão, humidade, velocidade e muitos outros Particularmente: Medição de Distância (profundidade)
- Um relatório da Administração de Segurança de Tráfego de Estrada Nacional do Estados Unidos afirma que somente em 2017, 3.166 pessoas foram mortas em acidentes de automóvel envolvendo motoristas distraídos. The National Safety Council diz que pelo menos nove pessoas nos EUA morrem e outras 100 são feridas todos os dias em acidentes causados por direção distraída
- Um relatório da Administração de Segurança de Tráfego de Estrada Nacional do Estados Unidos afirma que somente em 2017, 3.166 pessoas foram mortas em acidentes de automóvel envolvendo motoristas distraídos. The National Safety Council diz que pelo menos nove pessoas nos EUA morrem e outras 100 são feridas todos os dias em acidentes causados por direção distraída
- Por frenagem ou desvio
- envolvem estruturas de veículos (por exemplo, capô, pára-choques) que se expandem durante a colisão para minimizar o impacto da perna ou da cabeça do pedestre ao bater no veículo. Contudo, os sistemas passivos de pedestres são limitados pelas leis da física em termos de capacidade de reduzir a energia de colisão e, portanto, o nível de lesão. Além disso, os sistemas passivos não levam em conta as lesões sofridas no impacto secundário do pedestre na pista ou calçada.
- Por frenagem ou desvio
- Por frenagem ou desvio
- Por frenagem ou desvio
- device that detects and responds to some type of input from the physical environment. temperature, pressure, level, humidity, speed, motion, distance, light or the presence/absence of an object and many other types São dispositivos que detectam e medem algum tipo de entrada a partir do ambiente físico. São utilizados pelos sistemas embarcados para poder interagir com o ambiente. Medem uma enorme variedade de condições Tais como: temperatura, pressão, humidade, velocidade e muitos outros Particularmente: Medição de Distância (profundidade)
- Um dos componentes...um dos principais “Usem mais cameras”
- Que tipo de informação a partir de cameras?
- Por frenagem ou desvio
- Por frenagem ou desvio
- Por frenagem ou desvio
- Tal previsão permite que o \acrshort{spp} localize antecipadamente uma condição de colisão e assim reaja mais rapidamente para evitar a colisão ou reduzir a velocidade de impacto. Estudos \cite{hamdane2015issues} afirmam que a habilidade de iniciar uma frenagem alguns segundos de antecedência tem o potencial para reduzir a severidade do acidente. De fato, um relatório da \citeonline{OMS} afirma que um adulto tem menos de 20\% de chance de morrer se for atropelado por um carro a menos de 50 km/h, mas possui um risco de 60\% de morrer se for atingido a 80 km/h.
- Por frenagem ou desvio
- Oclusões Pedestres similares
- Previsão mais cedo de uma colisão
- O pedestre
- Que seja capaz de fazer a previsão de colisão...que tenha imagens em alta resolução, tempo real, suporte múltiplos pedestres, múltiplos modelos...
- Talvez preciso com FPGA...
- Talvez preciso com FPGA...
- Tais aspectos se tornam mais difíceis de ser alcançados quando é necessário desenvolver \acrshortpl{spp} para aplicações reais em que existem múltiplos pedestres. Além disso, requisito de processamento em altas resoluções é importante (pelo menos, acima de 1280 $\times$ 720) uma vez que mais informações estarão disponíveis na imagem que permitem detectar mais cedo uma possível colisão. Certamente, soluções que lidem com tais desafios serão cada vez mais complexas e demandarão mais esforços para alcançar altas taxas de processamento.
- Tais aspectos se tornam mais difíceis de ser alcançados quando é necessário desenvolver \acrshortpl{spp} para aplicações reais em que existem múltiplos pedestres. Além disso, requisito de processamento em altas resoluções é importante (pelo menos, acima de 1280 $\times$ 720) uma vez que mais informações estarão disponíveis na imagem que permitem detectar mais cedo uma possível colisão. Certamente, soluções que lidem com tais desafios serão cada vez mais complexas e demandarão mais esforços para alcançar altas taxas de processamento.
- Tais aspectos se tornam mais difíceis de ser alcançados quando é necessário desenvolver \acrshortpl{spp} para aplicações reais em que existem múltiplos pedestres. Além disso, requisito de processamento em altas resoluções é importante (pelo menos, acima de 1280 $\times$ 720) uma vez que mais informações estarão disponíveis na imagem que permitem detectar mais cedo uma possível colisão. Certamente, soluções que lidem com tais desafios serão cada vez mais complexas e demandarão mais esforços para alcançar altas taxas de processamento.
- Tais aspectos se tornam mais difíceis de ser alcançados quando é necessário desenvolver \acrshortpl{spp} para aplicações reais em que existem múltiplos pedestres. Além disso, requisito de processamento em altas resoluções é importante (pelo menos, acima de 1280 $\times$ 720) uma vez que mais informações estarão disponíveis na imagem que permitem detectar mais cedo uma possível colisão. Certamente, soluções que lidem com tais desafios serão cada vez mais complexas e demandarão mais esforços para alcançar altas taxas de processamento.
- Tais aspectos se tornam mais difíceis de ser alcançados quando é necessário desenvolver \acrshortpl{spp} para aplicações reais em que existem múltiplos pedestres. Além disso, requisito de processamento em altas resoluções é importante (pelo menos, acima de 1280 $\times$ 720) uma vez que mais informações estarão disponíveis na imagem que permitem detectar mais cedo uma possível colisão. Certamente, soluções que lidem com tais desafios serão cada vez mais complexas e demandarão mais esforços para alcançar altas taxas de processamento.
- Tais aspectos se tornam mais difíceis de ser alcançados quando é necessário desenvolver \acrshortpl{spp} para aplicações reais em que existem múltiplos pedestres. Além disso, requisito de processamento em altas resoluções é importante (pelo menos, acima de 1280 $\times$ 720) uma vez que mais informações estarão disponíveis na imagem que permitem detectar mais cedo uma possível colisão. Certamente, soluções que lidem com tais desafios serão cada vez mais complexas e demandarão mais esforços para alcançar altas taxas de processamento.
- Tais aspectos se tornam mais difíceis de ser alcançados quando é necessário desenvolver \acrshortpl{spp} para aplicações reais em que existem múltiplos pedestres. Além disso, requisito de processamento em altas resoluções é importante (pelo menos, acima de 1280 $\times$ 720) uma vez que mais informações estarão disponíveis na imagem que permitem detectar mais cedo uma possível colisão. Certamente, soluções que lidem com tais desafios serão cada vez mais complexas e demandarão mais esforços para alcançar altas taxas de processamento.
- Tais aspectos se tornam mais difíceis de ser alcançados quando é necessário desenvolver \acrshortpl{spp} para aplicações reais em que existem múltiplos pedestres. Além disso, requisito de processamento em altas resoluções é importante (pelo menos, acima de 1280 $\times$ 720) uma vez que mais informações estarão disponíveis na imagem que permitem detectar mais cedo uma possível colisão. Certamente, soluções que lidem com tais desafios serão cada vez mais complexas e demandarão mais esforços para alcançar altas taxas de processamento.