O documento discute pesquisa e desafios em robótica móvel e veículos autônomos, incluindo: 1) Desenvolvimento de um sistema de direção autônoma/assistida para veículos em ambientes urbanos utilizando percepção, planejamento e atuação. 2) Uso de simulação, testes em pequenos e grandes robôs para validar algoritmos de navegação autônoma. 3) Desafios em identificar a via, mapear o terreno e navegar de forma autônoma utilizando

1. 19/10/2010
Robôs Móveis e Veículos Autônomos:
Pesquisa, Desenvolvimento e Desafios
na área da Inteligência Artificial
Denis F. Wolf Fernando S. Osório Kalinka R. J. Castelo Branco
Universidade de São Paulo – USP - ICMC
Grupo de Sistemas Embarcados, Evolutivos e Robóticos - SEER
Laboratório de Robótica Móvel - LRM
INCT – Sistemas Embarcados Críticos
CLEI 2010
#1
Laboratório de Robótica Móvel – ICMC/USP
Desafios da Inteligência Artificial:
Pesquisa e Desenvolvimento de
Robôs Móveis e Veículos Autônomos
Denis F. Wolf Fernando S. Osório Kalinka R. J. Castelo
Branco
Universidade de São Paulo – USP - ICMC
Grupo de Sistemas Embarcados, Evolutivos e Robóticos - SEER
Laboratório de Robótica Móvel - LRM Parte III
INCT – Sistemas Embarcados Críticos
2
1

2. 19/10/2010
Projeto: Veículo Autônomo
Objetivo principal:
Desenvolver um sistema de direção autônoma/assistida
para veículos em ambientes urbanos
Objetivos secundários:
• Localização precisa em ambientes urbanos
• Identificação de via de transito utilizando visão computacional
• Mapeamento 3D de terreno utilizando sensor laser
• Planejamento de trajetória em tempo real em ambientes complexos
CLEI 2010
#3
Projeto: Veículo Autônomo
Principais motivações:
• Reduzir o número de acidentes rodoviários
• Aumentar a eficiência do transito
• Aumentar a mobilidade de idosos e
portadores de necessidades especiais
CLEI 2010
#4
2

3. 19/10/2010
Projeto: Veículo Autônomo
Outras aplicações:
• Agricultura
• Segurança e defesa
• Automação do transporte de cargas
CLEI 2010
#5
Causas de acidentes
• IP addresses and the port numbers of the
components.
CLEI 2010
#6
3

4. 19/10/2010
Acidentes Rodoviários
“According to WHO, road traffic crashes leading cause
of death among young people.”
“Unless more comprehensive global action is taken, the number of
deaths and injuries is likely to rise significantly. Road traffic collisions cost
an estimated US$ 518 billion globally in material, health and other
expenditure.”
“The first global assessment of road safety finds that almost half of the estimated
1.27 million people who die in road traffic crashes every year are pedestrians,
motorcyclists and cyclists. While progress has been made towards protecting
people in cars, the needs of these vulnerable groups of road users are not being
met.”
World Health Organization, 2009
CLEI 2010
7
#7
Causas de acidentes
Falhas na sinalização e pouca visibilidade
Lombada
CLEI 2010
#8
4

5. 19/10/2010
Causas de acidentes
Má conservação das vias
They didn't tell
me this hole
could be so
huge!!
CLEI 2010
#9
Causas de acidentes
Falta de educação no trânsito
CLEI 2010
# 10
5

6. 19/10/2010
Campanhas do governo
CLEI 2010
# 11
Condução autônoma: desafios…
Utilizar apenas GPS?
CLEI 2010
# 12
6

7. 19/10/2010
Robótica Móvel - Desenvolvimento
Simulação Testes em robôs Testes em robôs
de pequeno porte de grande porte
Robótica Móvel - Desenvolvimento
Simulação
Validação inicial dos algoritmos
desenvolvidos utilizando simuladores
de robôs e sensores.
Vantagens:
- Possibilidade irrestrita de experimentos
- Economia de tempo de desenvolvimento
- Evita danos aos robôs e sensores
7

8. 19/10/2010
Robótica Móvel - Desenvolvimento
Testes em robôs de pequeno porte
Validação do sistema em ambientes
reais de escala reduzida.
Vantagens:
- Ambientes e informações reais para
validação dos sistemas desenvolvidos
- Facilita a logística dos experimentos
- Diminui a chance de danos aos robôs e
sensores
Robótica Móvel - Desenvolvimento
Testes em robôs de grande porte
Validação do sistema em ambientes e
situações reais.
Características:
- Ambientes e informações reais para
validação dos sistemas desenvolvidos
- Logística complexa
- Possibilidade de danos aos robôs e sensores
8

9. 9
Veículo de testes
Gazebo - Simulação 3D
# 17
CLEI 2010
reyalP
evatcO rod vreS
rod vreS
rodiiiivreS
rod vreS
olucíeV
psiL
ybuR
nohtyP
lcT
oiráusu od avaJ reya P
reya P
reyallllP
reya P reenoiP
amargorP #C rodivreS ôboR
++C/C
reya P
reya P
reyallllP
reya P reyalP
od etneilC rod vreS
rod vreS
rodiiiivreS
rod vreS rodalumiS
acetoilbiB
Abstração de hardware
19/10/2010

10. 19/10/2010
Gazebo - Simulação 3D
Veículo e ambiente de testes
Sistema de condução
autônoma / assistida
Notificação
do condutor
Percepção Planejamento Atuação
CLEI 2010
# 20
10

11. 19/10/2010
Sistema de condução
autônoma / assistida
Notificação
do condutor
Percepção Planejamento Atuação
• Identificação de via utilizando visão computacional
• Identificação de via/obstáculos utilizando sensor laser
• Estimação da posição do veículo utilizando fusão de sensores
(GPS, IMU, Compass, Odometer)
CLEI 2010
# 21
Sistema de condução
autônoma / assistida
Notificação
do condutor
Percepção Planejamento Atuação
• Planejamento de trajetória
• Desvio de obstáculos
CLEI 2010
# 22
11

12. 19/10/2010
Sistema de condução
autônoma / assistida
Notificação
do condutor
Percepção Planejamento Atuação
• Controle de velocidade
• Controle de esterçamento
CLEI 2010
# 23
Sistema de condução
autônoma / assistida
• Presença de obstáculos
e depressões
Notificação • Risco de colisão
do condutor • Indicação de via de trânsito
• Sugestão Esterçamento / Freio
Percepção Planejamento Atuação
CLEI 2010
# 24
12

13. 19/10/2010
Plataformas Robóticas Utilizadas
CLEI 2010
# 25
Robô Pioneer 3 AT
Câmera
Sensor laser
GPS, IMU, e
Bússola
CLEI 2010
# 26
13

14. 19/10/2010
Veículo de testes
Sensores laser
Câmera
GPS, IMU, e
Bússola
Processamento
das informações
CLEI 2010
# 27
Veículo Elétrico
Sensores
Câmera
GPS, IMU, e Bússola
Câmera Térmica
Sensores laser
CLEI 2010
# 28
14

15. 19/10/2010
Veículo Elétrico
Atuadores: Esterçamento
Controlador
Motor DC
Encoder
Acoplamento
CLEI 2010
# 29
Veículo Elétrico
CLEI 2010
# 30
15

16. 19/10/2010
Veículo Elétrico
Atuadores: Aceleração
Acelerador
Encoder
(Odometria)
CLEI 2010
# 31
Sistema de condução
autônoma / assistida
Identificação e desvio de obstáculos
Experimentos iniciais – março de 2009
CLEI 2010
# 32
16

17. 19/10/2010
Sistema de condução
autônoma / assistida
Posição do veículo
Dados do laser
Trajetória planejada
Obstáculos
Dados da câmera
CLEI 2010
# 33
Sistema de condução
autônoma / assistida
CLEI 2010
# 34
17

18. 19/10/2010
Sistema de condução
autônoma / assistida
Detecção de obstáculos e notificação
Testes experimentais – Outubro de 2009
CLEI 2010
# 35
Mapeamento de terreno usando laser
z
D
H
lz 10 °
x
o
d
CLEI 2010
# 36
18

19. 19/10/2010
Mapeamento de terreno usando laser
CLEI 2010
# 37
Mapeamento de terreno usando laser
CLEI 2010
# 38
19

20. 19/10/2010
Mapeamento em grid
Desvantagens dos mapas 3D:
• Grande quantidade de dados
• Requer alta capacidade computacional
• Dados esparsos
Solução proposta:
• Mapa de navegabilidade 2D
CLEI 2010
# 39
Mapa de Navegabilidade
Utilizando Redes Neurais para a
Classificação do Terreno
Input Output
• Navegável
• Altitude Relativa • Parcialmente
•Altitude Absoluta Navegável
• Não Navegável
Multilayer
Perceptron
CLEI 2010
# 40
20

21. 19/10/2010
Mapeamento de terreno usando laser
IP addresses and the port numbers of the
components.
CLEI 2010
# 41
Navegação baseada em
visão computacional
Extração
de atrbutos
Classificação
CLEI 2010
# 42
21

22. 19/10/2010
Navegação baseada em
visão computacional
Image
( 320 x 240 )
pixel-block
( 10 x 10 )
RGB
HSV
YUV
Histogram
Mean
Entropy
CLEI 2010
# 43
Navegação baseada em
visão computacional
if (output < 0.3)
Pixel
Block Classifier non-navigable
else if (output > 0.7)
navigable
Feature 1 else
undefined
Feature 2
Feature 3 Output
Feature 4
Feature 5
Classifier (ANN)
CLEI 2010
# 44
22

23. 19/10/2010
Navegação baseada em
visão computacional
21 features and 4 ANN topologies tested (27.890 combinations)
training image evaluation image
5976 combinations selected (95% classification accuracy)
CLEI 2010
# 45
Navegação baseada em
visão computacional
Best Result Evaluation
Off-road classification in magenta Correct classification in green
On-road classification in cyan False-negative in blue
Undefined classification in yellow False-positive in red
Undefined classification in yellow
CLEI 2010
# 46
23

24. 19/10/2010
Navegação baseada em
visão computacional
• ANN 1: B average, RGB entropy, V entropy, S variance, S energy.
• ANN 2: B average, HSV entropy, S entropy, V entropy, S energy.
• ANN 3: R average, B average, H average, V entropy, HSV energy.
• ANN 4: R average, G average, H average, V entropy, HAS entropy.
• ANN 5: R average, H average, H entropy, V entropy
Frames used in training step
5 feature combinations (ANN) selected
CLEI 2010
# 47
Navegação baseada em
visão computacional
CLEI 2010
# 48
24

25. 19/10/2010
Navegação baseada em
visão computacional
Expected ANN 1 ANN 2
ANN 3 ANN 4 ANN 5
CLEI 2010
# 49
Navegação baseada em
visão computacional
Expected ANN 1 ANN 2
ANN 3 ANN 4 ANN 5
CLEI 2010
# 50
25

26. 19/10/2010
Identificação da via usando
visão computacional
Confidence level
Safe path identification
CLEI 2010
# 51
Identificação da via usando
visão computacional
CLEI 2010
# 52
26

27. 19/10/2010
Identificação da via usando
visão computacional
CLEI 2010
# 53
Identificação da via usando
visão computacional
CLEI 2010
# 54
27

28. 19/10/2010
Navegação autônoma
usando visão computacional
CLEI 2010
# 55
Navegação e desvio de obstáculos
usando visão computacional
CLEI 2010
# 56
28

29. 19/10/2010
Navegação autônoma utilizando GPS
CLEI 2010
# 57
DARPA Grand Challenge 2004
Premio de US$1.000.000,00
Desafio: Percorrer 224km
no deserto de forma autônoma
106 equipes inscritas e 25 finalistas
Melhor resultado: Red team (12km)
“Nobody won.
Nobody even came close” - CNN
58
CLEI 2010
# 58
29

30. 19/10/2010
DARPA Grand Challenge 2004
Blue Team
Video 1
Video 2
Video 3
Video 4
CLEI 2010
# 59
DARPA Grand Challenge 2005
Premio de US$2.000.000,00
195 equipes inscritas,
23 finalistas
5 terminaram o percurso
Vencedor:
Stanley
(Stanford University)
6h 53m
CLEI 2010
# 60
30

31. 19/10/2010
DARPA Urban Challenge 2007
CLEI 2010
# 61
DARPA Urban Challenge 2007
“none of the winning teams had taken any demerits
for traffic violations, and that the winners had all been
selected based on their finishing times “
“Tartan's vehicle averaged about 14 miles per hour
throughout the course, which covered about 55 miles.
Stanford averaged about 13 miles per hour, and
Virginia Tech averaged a bit less than that “
Junior NOVA
CLEI 2010
# 62
31

32. 19/10/2010
ELROB 2009
ELROB 2009
CLEI 2010
# 63
Avanços Recentes...
Beam me up
Google car
Sliding Parking
CLEI 2010
# 64
32

33. 19/10/2010
OBRIGADO!
Laboratório de Robótica Móvel
www.lrm.icmc.usp.br
Denis Fernando Wolf – denis@icmc.usp.br
Fernando Santos Osório - fosorio@icmc.usp.br
Kalinka R. J. C. Branko - kalinka@icmc.usp.br
CLEI 2010
# 65
33