SlideShare a Scribd company logo
1 of 10
Sistemes basats en aplicacions de visió a
                          l'automòbil
                                                    Marcos Pastor, Adrià.

                  Electrònica a l’automòbil. Enginyeria en Automàtica i Electrònica Industrial.
            Escola Tècnica Superior d’Enginyeria. Universitat Rovira i Virgili, Tarragona. Abril 2011
                                        adria.marcos@estudiants.urv.cat



                          RESUM                                   un alt confort ha generat que els fabricants hagin
   La introducció dels sistemes de visió artificial en            desenvolupat programes informàtics que mitjançant
l’automòbil ha suposat una millora en aspectes de seguretat       càmeres instal·lades a l’interior del vehicle, aquest
de la conducció i l’assistència del conductor al llarg del seu    assisteixi al conductor mentre l’utilitza. És el cas, per
desplaçament. Mitjançant càmeres instal·lades a l’interior
                                                                  exemple, dels sistemes de detecció de senyals de trànsit o
dels vehicles i de processadors es poden analitzar les imatges
obtingudes i reconèixer elements de l’entorn, així com            bé regulació de les llums del vehicle en funció de l’estat
vianants, senyals de trànsit, les línies delimitadores dels       de la via i dels altres usuaris de la carretera.
carrils, altres vehicles de la via i actuar en conseqüència.         En aquest article es fa una descripció d’alguns dels
Aquesta actuació pot ser des d’un simple avís al conductor        sistemes basats en aplicacions de visió artificial a
fins a una frenada d’emergència per evitar alguna col·lisió o     l’automòbil. Es tracten diferents algoritmes de detecció
atropellament.
                                                                  que s’han desenvolupat, s’enumeren productes comercials
                                                                  que es poden trobar al mercat que utilitzen aquests
                    PARAULES CLAU                                 algoritmes i finalment es presenten alguns exemples de
   Aplicacions de sistemes de visió artificial, electrònica a
l’automòbil, reconeixement de l’entorn.                           models comercials de fabricants d’automòbils que porten
                                                                  incorporats sistemes de visió artificial.
                   I. INTRODUCCIÓ

E
                                                                        II. RECONEIXEMENT DE L’ENTORN
     n els últims anys l’electrònica s’ha introduït en molts
     dels àmbits quotidians que ens rodegen. Un clar                   A. Detecció de vianants
exemple és la indústria de l’automòbil que pretén millorar            La detecció de vianants és una de les línies
el control dels subsistemes del vehicle, així com les             d’investigació més recents en la indústria automobilística
prestacions de confort que ofereix. La introducció de             i s’està convertint en un focus creixent d’interès dins de
sistemes formats per sensors, que aporten informació de           l’àmbit de l’automòbil, ja que augmenta la seguretat vial
l’estat de la planta, són capaços de detectar des de simples      dels elements més vulnerables de la carretera. Aquest
anomalies com falta de gasolina o un mal funcionament             tipus d’aplicació és atractiva tant per fabricants com pels
d’algun component del vehicle a, fins i tot, activar el           usuaris finals. Els primers estan interessats en vendre
control d’estabilitat quan es detecti que alguna de les           productes amb un alt valor afegit mentre que els últims,
rodes del vehicle està lliscant sobre el sòl. Amb tot, el         desitgen comprar vehicles més segurs.
gran camp que cada vegada pren més importància és el de               Els sistemes de detecció de vianants són difícils
la seguretat, no tan sols la dels usuaris que es troben dins      d’implementar a causa de les característiques dels propis
del propi vehicle, sinó també la dels aliens al mateix.           elements que formen part de l’escena. Aquesta dificultat
                                                                  radica en l’elevat número de formes que la forma humana
   Tot i que els fabricants d’automòbils ja fa temps que
                                                                  pot adoptar, en la diversitat d’entorns possibles i de la
incorporen sistemes de seguretat passius en els seus
                                                                  complexitat dels mateixos i en les condicions de
productes, l’objectiu dels quals és reduir al màxim els           il·luminació canviants i desconegudes. A més el temps en
danys en cas d’accident, la investigació en el camp de la         què s’ha de realitzar la detecció imposa una restricció
seguretat aposta pel desenvolupament de sistemes actius           molt severa, ja que aquest temps ha de ser el mínim
que permetin augmentar la prevenció dels accidents. En            possible. Amb tot això s’evidencia la complexitat del
aquest sentit, l’evolució de l’enginyeria informàtica, en         problema.
concret la de la visió artificial que realitza el processat de        Altres sistemes de detecció de vianants, com podrien
imatges, ha estat un aspecte clau en els progressos               ser sensors làser o radar, permeten obtenir mesures de
efectuats. S’han desenvolupat sistemes de visió artificial        distàncies més directes però no proporcionen una
que analitzen l’entorn i detecten vianants, els vehicles de       descripció més completa de l’entorn. La visió artificial té
la via i les línees delimitadores dels carrils de la via, entre   l’avantatge que permet comprendre i predir els
d’altres.                                                         moviments dels subjectes, però té l’inconvenient que
   A més, el fet que els conductors cada vegada sol·licitin       l’anàlisi de les dades és més exhaustiu i complex.
que el vehicle ofereixi més prestacions, més comoditats i


                                                                  1
Les càmeres instal·lades en equips mòbils que                            En la segona fase es procedeix a realitzar la detecció
s’acostumen a utilitzar per realitzar la detecció de                     dels vianants. De forma general els mètodes de detecció
vianants són càmeres estereoscòpiques. Les raons per                     de vianants basats en visió es poden classificar en tres
utilitzar visió estèreo són vàries. Quan es treballa amb                 grups. El primer nivell busca característiques senzilles
imatges obtingudes amb una càmera no estacionària, la                    que defineixen a una persona, però tenen l’inconvenient
majoria de les tècniques de segmentació clàssiques fallen                que si una d’aquestes característiques no està
a causa del propi moviment de la càmera. Entre els                       suficientment present en la imatge, el vianant no es
avantatges que destaquen de la visió estèreo és que                      detecta. Un altre inconvenient que presenta és l’elevat
permet analitzar oclusions o forats, és robust a canvis                  número de falsos positius que genera. El tercer nivell de
d’il·luminació i permet detectar tant objectes en                        la classificació és totalment diferent del primer perquè
moviment com estàtics.                                                   acostuma a estar basat en xarxes neurals, les quals
                                                                         requereixen d’algun tipus d’aprenentatge. Aquest és el
                                                                         inconvenient principal del tercer nivell ja que
                                                                         l’entrenament comporta una gran quantitat de temps
                                                                         respecte el primer nivell. Entre els dos nivells anteriors es
                                                                         troben les tècniques basades en models, desenvolupats
                                                                         amb la intenció de quedar-se amb el millor de cada un
                                                                         dels dos. En aquest mètode és habitual construir models o
                                                                         patrons dels humans per aportar robustesa al sistema. Els
   Fig. 1. Exemple de sistema de visió amb càmeres estereoscòpiques.     patrons poden estar basats en el moviment de les
                                                                         persones, en la seva forma, o una combinació d’ambdós.
   La tendència generalitzada d’afrontar el problema de la                  Per portar a terme la detecció, les imatges es
detecció de vianants consisteix en dividir el problema en                transformen en un altre espai amb l’objectiu de reduir la
dues etapes;                                                             seva dimensió i poder representar la informació de forma
       • una primera, de detecció d’objectes d’interès,                  més compacta. El classificador aprèn el patró de l’objecte
            per distingir els objectes propers respecte del              desitjat i a continuació les regions d’interès es
            que és el fons, i                                            compararan amb els patrons. El resultat és el grau de
       • una segona, de reconeixement de vianants per                    correlació entre el patró i la imatge analitzada. Els
            separar els vianants de la resta d’objectes.                 classificadors habitualment utilitzats són els basats en
   En la primera fase s’han de localitzar i extreure les                 PCA, wavelets o HOG.
zones de la imatge on poden situar-se els vianants.
Aquestes zones s’anomenen regions d’interès (Regions of
Interest, ROI). La visió estèreo permet construir un mapa
de disparitat de l’escena i d’aquesta manera filtrar les
parts de la imatge en funció de les mesures de distància.
Les zones que no estan a la distància desitjada s’eliminen
de la imatge i es realitzen la resta de càlculs a partir de la
imatge filtrada.


                                                                                    Fig. 3. Detecció de vianants en un pas zebra.

                                                                            Un dels primers vehicles que disposaven de sistemes de
                                                                         visió artificial per detectar vianants va ser desenvolupat al
                                                                         Massachussets Institut of Technology. DaimlerChrysler
                                                                         juntament amb la Universitat de Maryland han consolidat
                                                                         el vehicle UTA orientat a assistència en la ciutat. Un altre
                                                                         exemple és el de Robotics Institut de la Universitat
                                                                         Carnegie Mellon que ha desenvolupat un mòdul per
                                                                         assistència de conductors d’autobús. En els últims anys el
                                                                         creixement ha estat exponencial i els fabricants de cotxes
                                                                         han començat a introduir-los en els seus models
                                                                         d’automòbil.

   Fig. 2. [Dalt] Imatge obtinguda amb visió estèreo i el corresponent       B. Detecció de línies delimitadores de carrils
   mapa de disparitat. [Baix] Detall de la imatge gradient i la imatge
            filtrada en funció de les mesures de distàncies.               Un estudi portat a terme als Estats Units ha demostrat
                                                                         que el 40% dels accidents ocorren durant un canvi de



                                                                         2
carril. La falta d’atenció i l’endormiscament són algunes                        L’algoritme de la figura 5 utilitza mètodes
de les raons que justifiquen tals accidents. És per això que                  convencionals que es poden trobar en l’estat de l’art i la
s’estan desenvolupant aplicacions de visió artificial que                     teoria de la detecció de carrils i a més afegeix una millora
tenen la missió d’anar seguint l’evolució de la posició de                    en el sentit que combina un número de tècniques per
l’automòbil respecte les marques vials que delimiten els                      obtenir un tracking amb prestacions més robustes.
carrils de manera que en cas que la direcció del vehicle no                      El mòdul de detecció de l’algoritme utilitza tres
s’ajusti a la del carril per on va circulant, es notifica al                  operadors diferents que representen les diferents formes
conductor d’aquesta situació. L’avís pot ser acústic o bé                     que poden presentar les marques vials. Aquest mòdul s’ha
per vibració del seient.                                                      d’ajustar en funció de les marques que es volen detectar.
                                                                              Per exemple en el cas de l’exemple es pretén detectar
                                                                              marques amb certes direccions, formes i colors. Després
                                                                              d’haver realitzat el filtratge en funció dels operadors
                                                                              s’aplica la transformada de Hough per extreure les línies
                                                                              de forma conjunta amb els angles i les seves longituds
                                                                              dins de la imatge.
                                                                                 La transformada de Hough és la tècnica més
                                                                              comunament utilitzada per la detecció de corbes regulars,
                                                                              com per exemple rectes, cercles el·lipses, etc. La idea de
                                                                              la transformada de Hough es basa esbrinar la línia o línies
                                                                              que pot pertànyer cada punt amb un mode d’operació
                                                                              estadístic. Aquest anàlisi es realitza per tots els punts de la
                                                                              imatge. La transformada de Hough empra una
Fig. 4. Sistema d'avís en cas de desviació respecte les línies dels carrils
                                                                              representació paramètrica de formes geomètriques. Per
   La detecció de carrils és una àrea de visió per                            exemple es representa per un mòdul φ perpendicular a la
computador ben investigada en aplicacions de vehicles                         recta i que passa per l’origen (0,0) i l’angle ρ format
autònoms i sistemes d’ajuda al conductor. Tot i que                           respecte l’eix positiu de les abisses.
distingir marques clares sobre un camí fosc sembla una
tasca fàcil, les dificultats arriben quan apareixen ombres,                                          cos ρ         sin ρ        φ
obstruccions visual per culpa d’altres vehicles, canvis en
                                                                                  Eq. 1. Equació que descriu una recta mitjançant l’aplicació de la
la textura de la superfície del camí i les diferents marques                                         transformada de Hough.
dels carrils. Realitzar el seguiment o tracking en un
entorn real és una tasca complexa a causa del moviment i                         La verificació comporta l’eliminació de les marques
les vibracions a les que està sotmès el vehicle, pels                         candidates que no acompleixen amb les restriccions de
defectes que puguin presentar les marques vials, els                          l’angle imposats pel model geomètric de la carretera.
canvis de il·luminació i les condicions meteorològiques.                      Finalment de l’algoritme de seguiment de marques vials
   Un algoritme genèric de seguiment de carril conté els                      es poden obtenir diferents resultats:
següents mòduls: un model de la carretera, per extracció                             • El tipus de marca vial reconegut.
de característiques, un post-processament per verificar la                           • Posició de la marca vial.
validesa dels resultats i un tracking.                                               • Número de marques vials identificades.
                                                                                     • Posició relativa del vehicle dins del carril.
                                                                                     • Coordenades de la carretera.




                                                                                             Fig. 6. Detecció final de marques vials.

                                                                                 Altres algoritmes apliquen filtres per detecció de
                                                                              contorns i en fan una posterior extracció dels contorns
                                                                              obtinguts. A continuació s’apliquen tècniques d’anàlisi de
            Fig. 5. Algoritme de detecció de marques vials.                   característiques principals i es classifiquen les diferents
                                                                              regions en funció de la longitud del contorn i només
                                                                              s’inclouen les que són suficientment llargues com per


                                                                              3
assegurar que es tracta d’una marca vial. Posteriorment            Fourier Transform) entre plantilles models de formes
s’aplica la transformada de Hough de la mateixa manera             concretes (rectangulars, circulars, octogonals, etc.) amb
que en el cas de l’exemple.                                        les ROI obtingudes abans. El resultat obtingut de
                                                                   l’aplicació de la correlació FFT permet determinar la
                                                                   localització de la plantilla buscada. Es pot veure l’efecte
     C. Detecció de senyals de trànsit
                                                                   del filtrat de color i una posterior correlació de tipus FFT
   Els mètodes utilitzats pel reconeixement de senyals de          en la figura 8.
trànsit es poden classificar en diversos grups: per color
base, per la forma base i altres. El desafiament en aquest
tipus de detecció tornen a ser les ja comentades
anteriorment en les altres aplicacions de visió en
l’automòbil. Les escenes reals del trànsit, el moviment del
mateix vehicle, les condicions d’il·luminació, l’efecte del
desenfocament, la distorsió de la imatge, la obstrucció de
la senyal per altres objectes o la pròpies limitacions del
sensor utilitzat, són els punts crítics del problema.
   Un exemple d’algoritme que resolgui la detecció de
senyals de trànsit és el que es presenta en la imatge de la
figura 7. Aquest utilitza una coordenada espacial de
referència, a partir de l’algoritme que segueix les marques
vials que delimiten el carril, per aconseguir una reducció
cost computacional necessari, així com una reducció dels
falsos positius que podrien existir després del filtratge per
color. Aquest analitza determinades regions d’interès que
són els laterals de la via.




         Fig. 7. Algoritme de detecció de senyals de trànsit.

   Després de extreure la regió d’interès, s’aplica un                  Fig. 8. [De dalt a baix] Imatge original. Resultat de filtrar el color.
filtratge de color. Els colors de major interès són el                  Resultat d’aplicar una correlació FFT amb una plantilla rectangular
vermell el groc i el negre ja que són colors relacionats               mostrant un focus o un pic d’intensitat en la localització de la senyal de
                                                                                                  límit de velocitat.
amb aspectes de seguretat, com poden ser les senyals de
STOP, pas de vianants o bé senyals de límit de velocitat.             Tot seguit s’aplica un llindar mínim al resultat obtingut
La identificació entre aquestes senyals és relativament            i es pot localitzar la posició que ocupa la senyal. És difícil
fàcil per la diferència que existeix en la seva forma. En          que apareguin falsos positius en la imatge d’aplicar el
canvi pel cas dels límits de velocitat per la identificació        llindar mínim. En el cas dels límits de velocitat s’ha de
del límit apareixen diversos candidats.                            diferenciar el límit escrit en la senyal, per tant és necessari
   El següent pas posterior al filtratge per color, com que        un classificador de senyals per diferenciar-les. Aquest
els contorns resultants no són gaire nítids s’apliquen             classificador acostuma a ser una xarxa neural que ha de
operacions morfològiques, dilatacions o erosions, per tal          ser entrenada prèviament amb cada senyal per separat
de corregir les formes amb estructures lineals o circulars.        amb un conjunt d’imatges reals de senyals del mateix
El següent pas comporta una correlació1 FFT (Fast                  tipus.
   1
     La correlació es una operació matemàtica molt semblant a la
convolució.



                                                                   4
D. Detecció de vehicles
    1) Vehicles en angles morts
   A vegades davant d’una maniobra de gir o un canvi de
carril, es produeixen accidents per col·lisions contra
vehicles que circulen prop del lateral del vehicle que
realitza la maniobra. Aquestes col·lisions sovint es
produeixen pel fet que el vehicle que rep el cop està fora
del camp de visió dels miralls retrovisors del conductor
que provoca el cop. Aquesta situació es dóna amb molta
freqüència en vehicles de menor tamany com poden ser
motocicletes, ciclomotors o bicicletes.




                                                                     Fig. 10. Exemple de detecció en angle mort en una seqüència de
                                                                   imatges. L'indicador de dalt a la dreta canvi de color verd a blau quan es
                                                                                            detecta algun vehicle.

                                                                   2) Adaptació de les llums del vehicle en funció
                                                                   d’altres vehicles de la via
                                                                  Les estadístiques demostren que més del 80% dels
                                                               accidents es produeixen durant la nit. És per això que la
                                                               temàtica de la visió artificial també pot abordar els
        Fig. 9. Situació dels angles morts en un automòbil.    aspectes d’assistència al conductor quan aquest realitza
                                                               desplaçaments durant les hores nocturnes. La detecció
   Els sistemes actuals de detecció d’angles morts estan       dels vehicles que circulen per la mateixa via pot ajustar de
basats fonamentalment en tres tecnologies: processat           forma automàtica la direcció i intensitat de la llum emesa.
d’imatges, radars de curt/mig rang a 24 GHz i utilització      Aquest tipus de regulació podria evitar enlluernaments.
de sensors làser. Un altre avantatge que ofereix la primera
respecte les altres dues és que les càmeres són sensors
passius i barats que no emeten senyals de cap tipus. Tant
el radar com els làsers poden causar interferències entre
altres vehicles que estiguin equipats amb els mateixos
dispositius.
   Per la detecció dels vehicles en els angles morts
mitjançant visió artificial, les imatges són analitzades amb
tècniques de flux òptic per tal de detectar píxels que es
mouen en la mateixa direcció. Els píxels que produeixen
moviment s’agrupen seguint tècniques de clustering. Als
clústers obtinguts se’ls aplica un mecanisme de detecció
de dues fases per dotar robustesa a l’algoritme de detecció
de vehicles. La primera fase és un sistema de pre-detecció
que computa el centre de masses dels clústers i determina
si es tracta d’un potencial vehicle en funció del tamany
dels píxels detectats. La segona fase és un altre detector            Fig. 11. Regulació de la il·luminació de l'automòbil mitjançant la
que identifica la part frontal del vehicle. Qualsevol                               detecció de vehicles dins de la via.
objecte que mantingui una similitud amb la part frontal
d’un vehicle es considerarà que es tracta d’un potencial          Un component clau d’aquest sistema és un software de
vehicle i sinó en qualsevol cas el pre-detector dispara un     visió artificial capaç de distingir blobs produïts des de la
senyal de pre-alerta.                                          part frontal dels vehicles i la part posterior, de la llum
   La posició del vehicle en el pla de la imatge es computa    emesa per faroles o bé elements reflectants, com poden
i se’n fa l’anàlisi de la seva evolució espacial utilitzant    actuar, segons les condicions, les senyals de trànsit.
filtres de Kalman per predir la seva posició. El tracking         Alguns algoritmes que s’han desenvolupat en aquest
continua fins que el vehicle desapareix de l’escena. Un        sentit utilitzen classificadors que prenen decisions a partir
senyal d’alarma avisa al conductor de l’existència d’un        de l’extracció de característiques dels blobs analitzats
vehicle dins de l’angle mort fins que es deixa de detectar.    centrant-se en la intensitat i la forma. Es parla de
                                                               classificadors entrenats amb un conjunt de blobs que
                                                               supera els 60.000.


                                                               5
L’inconvenient més problemàtic a salvar d’aquest tipus      que calculen el temps que cal que transcorri per tal que el
de detecció és l’anàlisi de blobs dèbils i petits que          vehicle assoleixi la posició del vehicle que el precedeix.
corresponen a vehicles molt llunyans que apareixen i
reapareixen. Per abordar el problema del seguiment dels
blobs s’han:

       •     d’obtenir mesures més característiques dels
             blobs al llarg de la seva trajectòria;
       •     calcular les seves característiques de
             moviment que es considerin rellevants per la
             classificació i,
       •     d’acomplir amb la consistència temporal.


                                                                   Fig. 13. Diagrama del sistema d'avís automàtic d'accident per visió
                                                                                              artificial.

                                                                   III. EMPRESES QUE INTEGREN SISTEMES DE
                                                                        VISIÓ ARTIFICIAL ALS AUTOMÒBILS
                                                                  Fins aquest punt s’ha presentant a nivell descriptiu el
                                                               funcionament d’alguns dels algoritmes i en aquest apartat
                                                               es procedeix a exposar algunes de les empreses que
                                                               existeixen actualment i els productes que ofereixen que
                                                               treballin amb visió artificial.

                                                                   1) Empresa ITERIS®
                                                                  Iteris® és una empresa que desenvolupa i integra
                                                               productes tecnològics per millorar la seguretat dels
                                                               mitjans de transport. No treballen únicament amb
                                                               processat d’imatges però entre els seus productes destaca
                                                               el que es basa en visió artificial que és el sistema d’avís
                                                               en cas de desviació respecte el traçat d el carril.




           Fig. 12. Tracking dels blobs que es visualitzen.

    3) Activació automàtica de les llums d’emergència
    d’un automòbil en cas de possible accident
   Hi ha projectes que treballen en sistemes de visió
artificial per l’activació automàtica de les llums
                                                                    Fig. 14. Sistema AutoVue® Lane Departure Warning de Iteris®
d’emergència d’un automòbil en cas de possible accident.
Per detectar un possible accident s’efectua la mesura de la
                                                                   2) Empresa Valeo®
distància i la velocitat relativa respecte els vehicles
                                                                  Aquesta empresa disposa d’un sistema d’avís en cas
precedents mitjançant la utilització d’una càmera en
                                                               que es detecti que el vehicle no segueix el traçat del carril.
l’interior de l’automòbil. La imatge rebuda es processa en
                                                               Aquest sistema està format per una càmera situada a la
un sistema hardware a bord del vehicle. Com a resultat
                                                               part posterior del retrovisor central a l’interior del vehicle
del processament realitzat s’obté la distància existent
                                                               que envia les imatge a un software de processament
entre el vehicle propi i el vehicle precedent i la seva
                                                               d’imatge. L’anàlisi determina la trajectòria del vehicle
velocitat relativa. Si es detecta que aquesta velocitat
                                                               amb el suport del control d’estabilitat, sensors de mesura
canvia de forma brusca fins assolir el risc de col·lisió, es
                                                               de gir i acceleròmetres que determinen les forces
procedeix a avisar al conductor de la situació i es a
                                                               d’acceleració a les que el vehicle està sotmès. La càmera
realitzar l’activació automàtica de les llums d’emergència
                                                               pot detectar línies contínues i discontínues, blanques i
per avisar a altres conductors. El tipus d’algoritme
                                                               grogues, pot funcionar de nit i amb boira. Aquest
utilitzat és molt semblant al que s’utilitza pels sistemes
                                                               producte s’ha desenvolupat amb la col·laboració de
                                                               l’empresa Iteris®.



                                                               6
•     Lane Departure Warning.
                                                                          •     Sistema que indica el temps que cal que
                                                                                transcorri per tal que el vehicle assoleixi la
                                                                                posició del vehicle que el precedeix (Headway
                                                                                Monitoring and Warning, HMW). El temps
                                                                                que es considera segur són un mínim de 2
                                                                                segons.


           Fig. 15. LaneVue® System de l'empresa Valeo®.

   Un altre producte que Valeo® també disposa és el
sistema d’ajust automàtic de la intensitat de les llums en
funció dels vehicles que es detectin en la carretera.
S’anomena BeamAtic® Premium i utilitza la mateixa
càmera del sistema LaneVue®.
                                                                        Fig. 18. La unitat d'indicació visual del producte C2-170 de
                                                                                                Mobileye®.

                                                                        c)         C2-270 Collision Prevention System
                                                                     El sistema de prevenció a col·lisions integra les
                                                                   següents funcionalitats:

                                                                          •     Forward Collision Warning.
 Fig. 16. Exemple virtual del funcionament del sistema BeamAtic®          •     Lane Departure Warning
                             Premium.                                     •     Headway Monitoring and Warning.
                                                                          •     Sistema d’avís de col·lisions amb vianants
    3) Empresa Mobileye®                                                        (Pedestrian Collision Warning, PCW).
  Mobileye® està altament especialitzada en productes                     •     Control de d’ajust de la il·luminació
de visó artificial i treballa amb fabricants d’automòbils                       intel·ligent (Intelligent High-beam Control,
com BMV, GM i Volvo. Disposa de 3 productes que                                 IHBC).
ofereixen diferents prestacions.

     a)          AWS-2000
   El producte que disposa de menys prestacions i l’avís
al conductor és únicament per so. Incorpora:

       •     Sistema d’avís per col·lisions frontals
             (Forward Collision Warning, FCW).                                   Fig. 19. Producte C2-270 de Mobileye®
       •     Sistema d’avís en cas de desviació respecte la
             trajectòria del carril (Lane Departure
             Warning, LDW).                                            4) Vision Automobile Electronics Industrial Co.
                                                                      Empresa que subministra productes electrònics a
                                                                   fabricants d’automòbils com Mitsubishi, Toyota, Mazda,
                                                                   Ford, Suzuki, Honda, Hyundai, etc. Entre els seus
                                                                   productes, el que utilitza tècniques de visó artificial és el
                                                                   sistema d’avís en cas de desviació respecte la trajectòria
                                                                   del carril (Lane Departure Warning).

   Fig. 17. Únic component del producte AWS-2000 de l’empresa
                          Mobileye®.

     b)          C2-170 Driver Assistance System
  El sistema d’assistència al conductor incorpora més
fucionalitats que el producte anterior.

       •     Forward Collision Warning.



                                                                   7
3) Citroën C4
                                                                    Disposa de una càmera just sota de cada un dels
                                                                 retrovisors laterals per analitzar i detectar vehicles en els
                                                                 angles morts.




   Fig. 20. VAE-710 Lane Departure Warning System de Vision
              Automobile Electronics Industrial Co.

IV. VECHICLES COMERCIALS AMB SISTEMES
          DE VISIÓ ARTIFICIAL
  En aquest apartat es presenten alguns models
d’automòbils que incorporen sistemes de visió artificial.
                                                                                        Fig. 23. Citroën C4 2011.
    1) Opel Insignia
  Incorpora una càmera de reconeixement instal·lada
entre el parabrises i el retrovisor interior, i dues càmeres         4) Toyota Crown
més a la part inferior dels retrovisors laterals. Treballa dos      Toyota ha incorporat en el seu model Crown un
aspectes:                                                        sistema de visó artificial nocturn que permet la detecció
       • Reconeixement de senyals de trànsit.                    de vianants a la calçada, tot i que presenta certes
       • Avís desviació respecte la direcció del carril.         limitacions, com és el cas que únicament funciona si es
       • Detector de vehicles en angles morts.                   condueix a una velocitat inferior als 65 km/h.




         Fig. 21. Opel Insignia amb Opel Eye® Camera.

   2) Infiniti M45X
  Incorpora:
      • El sistema BLIS® (Blind Spot Information
          System), per control dels angles morts.
      • Sistema d’avís desviació respecte la direcció                Fig. 24. [Dalt] Vista del panell informatiu del sistema de Toyota.
          del carril.                                                                      [Baix] Toyota Crown.



                                                                     5) Mercedes-Benz Clase-S
                                                                    En la línia del cas de Toyota, Mercedes ha fusionat la
                                                                 detecció de vianants a la calçada, amb una càmera de llum
                                                                 infraroja per visió nocturna, i el control de la llum que
                                                                 emet el vehicle. L’ha batejat amb el nom Active Night
                                                                 View Assist Plus i consisteix en il·luminar el vianant una
                                                                 vegada s’ha detectat mitjançant una llum especialment
                                                                 dedicada que no enlluerna al subjecte i permet al
                                                                 conductor rebassar-lo reduint el perill que presenta tal
                    Fig. 22. Infiniti M45X.                      situació.


                                                                 8
V. CONCLUSIONS
                                                                             Els sistemes de visió artificial estan demostrant la seva
                                                                          viabilitat en el camp de la seguretat activa en la indústria
                                                                          de l’automòbil, per tal de preveure i evitar possibles
                                                                          accidents. Els sensors necessaris no presenten un elevat
                                                                          cost i es tracta de sistemes passius que no emeten cap
                                                                          tipus de senyal sobre l’entorn, el que comporta la no
                                                                          interferència amb altres dispositius electrònics.
                                                                             Els principals inconvenients que presenta el processat
                                                                          de imatges que s’obtenen en ambients exteriors són els
                                                                          canvis de la il·luminació, les vibracions i moviment del
                                                                          propi vehicle, la velocitat de processament que es
                                                                          requereix, les condicions meteorològiques, la obstrucció
                                                                          visual dels elements objectius com senyals, vianants, etc. i
                                                                          les limitacions que presenti el propi sensor. Tot i les
              Fig. 25. Active Night View Assist Plus.                     dificultats que es donen, s’han desenvolupat algoritmes
                                                                          que aconsegueixen acomplir amb la seva missió i a més
  El Mercedes Classe-S a més ofereix els sistemes de :                    amb un alt percentatge d’efectivitat. No són sistemes
      • Reconeixement de senyals de trànsit.                              infalibles perquè són sensibles a moltes condicions que no
      • Sistema d’avís desviació respecte la direcció                     es poden controlar, però s’estan aconseguint bons
          del carril.                                                     resultats fins al punt d’introduir-los en models
                                                                          d’automòbils que es troben en el mercat.
                                                                             En molts casos, de moment, els sistemes de visió
                                                                          artificial només actuen com sistemes d’assistència al
                                                                          conductor, el qual segueix sent l’últim esglaó en la cadena
                                                                          de presa de decisions durant la conducció. És per això que
                                                                          s’avança cap a una direcció on les persones cada vegada
                                                                          tinguin menys importància dins del control del moviment
                                                                          del vehicle i s’intenta dirigir cap a sistemes totalment
                                                                          guiats i controlats per computadors. El problema d’aquest
                                                                          avenç tecnològic és que la societat actualment no està
                 Fig. 26. Merdeces-Benz Classe-S                          preparada per acceptar aquest tipus de tecnologia, ni la
                                                                          tecnologia està desenvolupada suficientment com per
                                                                          implantar-se de forma tan imminent. Per tant, s’ha de
    6) Volvo XC60, XC70 i S80                                             seguir treballant per poder introduir sistemes de visió
   La casa Volvo ofereix en els seus models XC60, XC70                    artificial de forma progressiva i segura.
i S80 ofereix el sistema BLIS® per control dels angles
morts.                                                                                        REFERÈNCIES
                                                                              1) Articles

                                                                             [1] C Hilario, J M Collado, J Mª Armingol, A de la
                                                                          Escalera. Detección de peatones para vehículos
                                                                          inteligentes basada en modelos de contornos activos y
                                                                          visión estéreo. Leganés: Universidad Carlos III de
                                                                          Madrid; 2005.

                                                                             [2] MA Sotelo, J Barriga. Blind spot detection using
                                                                          visión for automotive applications. Alcalá de Henares:
                                                                          Universidad de Alcalá; 2008.

                                                                            [3] P Boyaz, X Yang, Sathyanarayana, J Hansen.
                                                                          Computer visión systems for “context-aware”. Active
                                                                          vehicle safety and driver assistance. Richardson:
                                                                          University of Texas at Dallas, Department of Electrical
                                                                          Engineering; 2009.
Fig. 27. [Dalt] Càmera situada sota el retrovisor lateral. [Baix] Volvo
                              XC60.




                                                                          9
[4] T Birdal, A Erçil. Real-time automated road, lane
and car detection for autonomous driving. Orhanli:
Sabanci University; 2008.

   2) Tesi doctoral

  [5] C Hilaro. Detección de Peatones en el Espectro
Visible e Infrarrojo para un Sistema Avanzado de
Asistencia a la Conducción [tesi]. Leganés: Universidad
Carlos III de Madrid; 2008.

   3) Pàgines web

   [6] Avanced Driver Assistace Systems Group.
[consultat: 5 abr 2011]. Disponible: a:
http://www.cvc.uab.es/adas/index.php?section=projects_i
ntelligentheadlights/.

   [7] Citroen. [consultat: 3 abr 2011]. Disponible a:
http://www.citroen.es/.

   [8] Infinity. [consultat: 3 abr 2011]. Disponible a:
http://www.infiniti.es/.

   [9] Inventos patentados en España. [consultat: 4 abr
2011]. Disponible a:
http://patentados.com/invento/sistema-de-vision-artificial-
para-la-activacion-automatica-de-las-luce.html/.

   [10] Iteris. Innovation for better mobility. [consultat: 4
abr 2011]. Disponible a:
http://www.iteris.com/.

  [11] Mercedes Benz. [consultat: 3 abr 2011].
Disponible a: http://www.mercedes-benz.es/.

   [12] Mobile. Our vision your safety. [consultat: 5 abr
2011]. Disponible a:
http://www.mobileye.com/es.

   Opel. [consultat:     3   abr   2011].    Disponible    a:
http://www.opel.es/.

   Toyota . [consultat: 3 abr 2011]. Disponible a:
http:// www.toyota.es/.

   Valeo. [consultat: 4      abr 2011]. Disponible a:
http://www.valeo.com/.

   Vision security. [consultat: 5 abr 2011]. Disponible a:
http://www.visionsecurity.com.tw/.

   Volvo. [consultat: 4 abr 2011]. Disponible a:
http://www.volvocars.com/.




                                                                10

More Related Content

Similar to Visió Artificial Automòbil

Futures tecnologies
Futures tecnologiesFutures tecnologies
Futures tecnologiesrobotica96
 
Disseny d’aplicacions de Realitat Virtual, Augmentada i Sensors cerebrals
Disseny d’aplicacions de Realitat Virtual, Augmentada i Sensors cerebralsDisseny d’aplicacions de Realitat Virtual, Augmentada i Sensors cerebrals
Disseny d’aplicacions de Realitat Virtual, Augmentada i Sensors cerebralsJordi Torner
 
Treball de fi_de_grau[jaume_alavedra_mas]
Treball de fi_de_grau[jaume_alavedra_mas]Treball de fi_de_grau[jaume_alavedra_mas]
Treball de fi_de_grau[jaume_alavedra_mas]Jaume Alavedra Mas
 
PAC1 - Què són els nous mitjans
PAC1 - Què són els nous mitjansPAC1 - Què són els nous mitjans
PAC1 - Què són els nous mitjansguest434f4aa
 
PAC1 - Els nous mitjans
PAC1 - Els nous mitjansPAC1 - Els nous mitjans
PAC1 - Els nous mitjansguest434f4aa
 
Radar d'algoritmes d'IA i processos de decisió automatitzada per a l'accés al...
Radar d'algoritmes d'IA i processos de decisió automatitzada per a l'accés al...Radar d'algoritmes d'IA i processos de decisió automatitzada per a l'accés al...
Radar d'algoritmes d'IA i processos de decisió automatitzada per a l'accés al...m4Social
 
MItjans Interactius_practica
MItjans Interactius_practicaMItjans Interactius_practica
MItjans Interactius_practicaMarcos Baldovi
 
Cat Evento Movilidad (Mayo 2007)
Cat Evento Movilidad (Mayo 2007)Cat Evento Movilidad (Mayo 2007)
Cat Evento Movilidad (Mayo 2007)Ciro Alonso
 

Similar to Visió Artificial Automòbil (19)

Futures tecnologies
Futures tecnologiesFutures tecnologies
Futures tecnologies
 
Coul
CoulCoul
Coul
 
Coul
CoulCoul
Coul
 
Disseny d’aplicacions de Realitat Virtual, Augmentada i Sensors cerebrals
Disseny d’aplicacions de Realitat Virtual, Augmentada i Sensors cerebralsDisseny d’aplicacions de Realitat Virtual, Augmentada i Sensors cerebrals
Disseny d’aplicacions de Realitat Virtual, Augmentada i Sensors cerebrals
 
6. Coneixes_ciutadanIA_cat.pptx
6. Coneixes_ciutadanIA_cat.pptx6. Coneixes_ciutadanIA_cat.pptx
6. Coneixes_ciutadanIA_cat.pptx
 
Giralt i vargas
Giralt i vargasGiralt i vargas
Giralt i vargas
 
Giralt i vargas
Giralt i vargasGiralt i vargas
Giralt i vargas
 
Giralt i vargas
Giralt i vargasGiralt i vargas
Giralt i vargas
 
Giralt i vargas
Giralt i vargasGiralt i vargas
Giralt i vargas
 
Giralt i vargas
Giralt i vargasGiralt i vargas
Giralt i vargas
 
Treball de fi_de_grau[jaume_alavedra_mas]
Treball de fi_de_grau[jaume_alavedra_mas]Treball de fi_de_grau[jaume_alavedra_mas]
Treball de fi_de_grau[jaume_alavedra_mas]
 
PAC1 - Què són els nous mitjans
PAC1 - Què són els nous mitjansPAC1 - Què són els nous mitjans
PAC1 - Què són els nous mitjans
 
PAC1 - Els nous mitjans
PAC1 - Els nous mitjansPAC1 - Els nous mitjans
PAC1 - Els nous mitjans
 
Radar d'algoritmes d'IA i processos de decisió automatitzada per a l'accés al...
Radar d'algoritmes d'IA i processos de decisió automatitzada per a l'accés al...Radar d'algoritmes d'IA i processos de decisió automatitzada per a l'accés al...
Radar d'algoritmes d'IA i processos de decisió automatitzada per a l'accés al...
 
MItjans Interactius_practica
MItjans Interactius_practicaMItjans Interactius_practica
MItjans Interactius_practica
 
La intel·ligència artificial a Catalunya
La intel·ligència artificial a CatalunyaLa intel·ligència artificial a Catalunya
La intel·ligència artificial a Catalunya
 
Normes
NormesNormes
Normes
 
Funcionalitats presents i futures del VISSIR
Funcionalitats presents i futures del VISSIRFuncionalitats presents i futures del VISSIR
Funcionalitats presents i futures del VISSIR
 
Cat Evento Movilidad (Mayo 2007)
Cat Evento Movilidad (Mayo 2007)Cat Evento Movilidad (Mayo 2007)
Cat Evento Movilidad (Mayo 2007)
 

Visió Artificial Automòbil

  • 1. Sistemes basats en aplicacions de visió a l'automòbil Marcos Pastor, Adrià. Electrònica a l’automòbil. Enginyeria en Automàtica i Electrònica Industrial. Escola Tècnica Superior d’Enginyeria. Universitat Rovira i Virgili, Tarragona. Abril 2011 adria.marcos@estudiants.urv.cat RESUM un alt confort ha generat que els fabricants hagin La introducció dels sistemes de visió artificial en desenvolupat programes informàtics que mitjançant l’automòbil ha suposat una millora en aspectes de seguretat càmeres instal·lades a l’interior del vehicle, aquest de la conducció i l’assistència del conductor al llarg del seu assisteixi al conductor mentre l’utilitza. És el cas, per desplaçament. Mitjançant càmeres instal·lades a l’interior exemple, dels sistemes de detecció de senyals de trànsit o dels vehicles i de processadors es poden analitzar les imatges obtingudes i reconèixer elements de l’entorn, així com bé regulació de les llums del vehicle en funció de l’estat vianants, senyals de trànsit, les línies delimitadores dels de la via i dels altres usuaris de la carretera. carrils, altres vehicles de la via i actuar en conseqüència. En aquest article es fa una descripció d’alguns dels Aquesta actuació pot ser des d’un simple avís al conductor sistemes basats en aplicacions de visió artificial a fins a una frenada d’emergència per evitar alguna col·lisió o l’automòbil. Es tracten diferents algoritmes de detecció atropellament. que s’han desenvolupat, s’enumeren productes comercials que es poden trobar al mercat que utilitzen aquests PARAULES CLAU algoritmes i finalment es presenten alguns exemples de Aplicacions de sistemes de visió artificial, electrònica a l’automòbil, reconeixement de l’entorn. models comercials de fabricants d’automòbils que porten incorporats sistemes de visió artificial. I. INTRODUCCIÓ E II. RECONEIXEMENT DE L’ENTORN n els últims anys l’electrònica s’ha introduït en molts dels àmbits quotidians que ens rodegen. Un clar A. Detecció de vianants exemple és la indústria de l’automòbil que pretén millorar La detecció de vianants és una de les línies el control dels subsistemes del vehicle, així com les d’investigació més recents en la indústria automobilística prestacions de confort que ofereix. La introducció de i s’està convertint en un focus creixent d’interès dins de sistemes formats per sensors, que aporten informació de l’àmbit de l’automòbil, ja que augmenta la seguretat vial l’estat de la planta, són capaços de detectar des de simples dels elements més vulnerables de la carretera. Aquest anomalies com falta de gasolina o un mal funcionament tipus d’aplicació és atractiva tant per fabricants com pels d’algun component del vehicle a, fins i tot, activar el usuaris finals. Els primers estan interessats en vendre control d’estabilitat quan es detecti que alguna de les productes amb un alt valor afegit mentre que els últims, rodes del vehicle està lliscant sobre el sòl. Amb tot, el desitgen comprar vehicles més segurs. gran camp que cada vegada pren més importància és el de Els sistemes de detecció de vianants són difícils la seguretat, no tan sols la dels usuaris que es troben dins d’implementar a causa de les característiques dels propis del propi vehicle, sinó també la dels aliens al mateix. elements que formen part de l’escena. Aquesta dificultat radica en l’elevat número de formes que la forma humana Tot i que els fabricants d’automòbils ja fa temps que pot adoptar, en la diversitat d’entorns possibles i de la incorporen sistemes de seguretat passius en els seus complexitat dels mateixos i en les condicions de productes, l’objectiu dels quals és reduir al màxim els il·luminació canviants i desconegudes. A més el temps en danys en cas d’accident, la investigació en el camp de la què s’ha de realitzar la detecció imposa una restricció seguretat aposta pel desenvolupament de sistemes actius molt severa, ja que aquest temps ha de ser el mínim que permetin augmentar la prevenció dels accidents. En possible. Amb tot això s’evidencia la complexitat del aquest sentit, l’evolució de l’enginyeria informàtica, en problema. concret la de la visió artificial que realitza el processat de Altres sistemes de detecció de vianants, com podrien imatges, ha estat un aspecte clau en els progressos ser sensors làser o radar, permeten obtenir mesures de efectuats. S’han desenvolupat sistemes de visió artificial distàncies més directes però no proporcionen una que analitzen l’entorn i detecten vianants, els vehicles de descripció més completa de l’entorn. La visió artificial té la via i les línees delimitadores dels carrils de la via, entre l’avantatge que permet comprendre i predir els d’altres. moviments dels subjectes, però té l’inconvenient que A més, el fet que els conductors cada vegada sol·licitin l’anàlisi de les dades és més exhaustiu i complex. que el vehicle ofereixi més prestacions, més comoditats i 1
  • 2. Les càmeres instal·lades en equips mòbils que En la segona fase es procedeix a realitzar la detecció s’acostumen a utilitzar per realitzar la detecció de dels vianants. De forma general els mètodes de detecció vianants són càmeres estereoscòpiques. Les raons per de vianants basats en visió es poden classificar en tres utilitzar visió estèreo són vàries. Quan es treballa amb grups. El primer nivell busca característiques senzilles imatges obtingudes amb una càmera no estacionària, la que defineixen a una persona, però tenen l’inconvenient majoria de les tècniques de segmentació clàssiques fallen que si una d’aquestes característiques no està a causa del propi moviment de la càmera. Entre els suficientment present en la imatge, el vianant no es avantatges que destaquen de la visió estèreo és que detecta. Un altre inconvenient que presenta és l’elevat permet analitzar oclusions o forats, és robust a canvis número de falsos positius que genera. El tercer nivell de d’il·luminació i permet detectar tant objectes en la classificació és totalment diferent del primer perquè moviment com estàtics. acostuma a estar basat en xarxes neurals, les quals requereixen d’algun tipus d’aprenentatge. Aquest és el inconvenient principal del tercer nivell ja que l’entrenament comporta una gran quantitat de temps respecte el primer nivell. Entre els dos nivells anteriors es troben les tècniques basades en models, desenvolupats amb la intenció de quedar-se amb el millor de cada un dels dos. En aquest mètode és habitual construir models o patrons dels humans per aportar robustesa al sistema. Els Fig. 1. Exemple de sistema de visió amb càmeres estereoscòpiques. patrons poden estar basats en el moviment de les persones, en la seva forma, o una combinació d’ambdós. La tendència generalitzada d’afrontar el problema de la Per portar a terme la detecció, les imatges es detecció de vianants consisteix en dividir el problema en transformen en un altre espai amb l’objectiu de reduir la dues etapes; seva dimensió i poder representar la informació de forma • una primera, de detecció d’objectes d’interès, més compacta. El classificador aprèn el patró de l’objecte per distingir els objectes propers respecte del desitjat i a continuació les regions d’interès es que és el fons, i compararan amb els patrons. El resultat és el grau de • una segona, de reconeixement de vianants per correlació entre el patró i la imatge analitzada. Els separar els vianants de la resta d’objectes. classificadors habitualment utilitzats són els basats en En la primera fase s’han de localitzar i extreure les PCA, wavelets o HOG. zones de la imatge on poden situar-se els vianants. Aquestes zones s’anomenen regions d’interès (Regions of Interest, ROI). La visió estèreo permet construir un mapa de disparitat de l’escena i d’aquesta manera filtrar les parts de la imatge en funció de les mesures de distància. Les zones que no estan a la distància desitjada s’eliminen de la imatge i es realitzen la resta de càlculs a partir de la imatge filtrada. Fig. 3. Detecció de vianants en un pas zebra. Un dels primers vehicles que disposaven de sistemes de visió artificial per detectar vianants va ser desenvolupat al Massachussets Institut of Technology. DaimlerChrysler juntament amb la Universitat de Maryland han consolidat el vehicle UTA orientat a assistència en la ciutat. Un altre exemple és el de Robotics Institut de la Universitat Carnegie Mellon que ha desenvolupat un mòdul per assistència de conductors d’autobús. En els últims anys el creixement ha estat exponencial i els fabricants de cotxes han començat a introduir-los en els seus models d’automòbil. Fig. 2. [Dalt] Imatge obtinguda amb visió estèreo i el corresponent B. Detecció de línies delimitadores de carrils mapa de disparitat. [Baix] Detall de la imatge gradient i la imatge filtrada en funció de les mesures de distàncies. Un estudi portat a terme als Estats Units ha demostrat que el 40% dels accidents ocorren durant un canvi de 2
  • 3. carril. La falta d’atenció i l’endormiscament són algunes L’algoritme de la figura 5 utilitza mètodes de les raons que justifiquen tals accidents. És per això que convencionals que es poden trobar en l’estat de l’art i la s’estan desenvolupant aplicacions de visió artificial que teoria de la detecció de carrils i a més afegeix una millora tenen la missió d’anar seguint l’evolució de la posició de en el sentit que combina un número de tècniques per l’automòbil respecte les marques vials que delimiten els obtenir un tracking amb prestacions més robustes. carrils de manera que en cas que la direcció del vehicle no El mòdul de detecció de l’algoritme utilitza tres s’ajusti a la del carril per on va circulant, es notifica al operadors diferents que representen les diferents formes conductor d’aquesta situació. L’avís pot ser acústic o bé que poden presentar les marques vials. Aquest mòdul s’ha per vibració del seient. d’ajustar en funció de les marques que es volen detectar. Per exemple en el cas de l’exemple es pretén detectar marques amb certes direccions, formes i colors. Després d’haver realitzat el filtratge en funció dels operadors s’aplica la transformada de Hough per extreure les línies de forma conjunta amb els angles i les seves longituds dins de la imatge. La transformada de Hough és la tècnica més comunament utilitzada per la detecció de corbes regulars, com per exemple rectes, cercles el·lipses, etc. La idea de la transformada de Hough es basa esbrinar la línia o línies que pot pertànyer cada punt amb un mode d’operació estadístic. Aquest anàlisi es realitza per tots els punts de la imatge. La transformada de Hough empra una Fig. 4. Sistema d'avís en cas de desviació respecte les línies dels carrils representació paramètrica de formes geomètriques. Per La detecció de carrils és una àrea de visió per exemple es representa per un mòdul φ perpendicular a la computador ben investigada en aplicacions de vehicles recta i que passa per l’origen (0,0) i l’angle ρ format autònoms i sistemes d’ajuda al conductor. Tot i que respecte l’eix positiu de les abisses. distingir marques clares sobre un camí fosc sembla una tasca fàcil, les dificultats arriben quan apareixen ombres, cos ρ sin ρ φ obstruccions visual per culpa d’altres vehicles, canvis en Eq. 1. Equació que descriu una recta mitjançant l’aplicació de la la textura de la superfície del camí i les diferents marques transformada de Hough. dels carrils. Realitzar el seguiment o tracking en un entorn real és una tasca complexa a causa del moviment i La verificació comporta l’eliminació de les marques les vibracions a les que està sotmès el vehicle, pels candidates que no acompleixen amb les restriccions de defectes que puguin presentar les marques vials, els l’angle imposats pel model geomètric de la carretera. canvis de il·luminació i les condicions meteorològiques. Finalment de l’algoritme de seguiment de marques vials Un algoritme genèric de seguiment de carril conté els es poden obtenir diferents resultats: següents mòduls: un model de la carretera, per extracció • El tipus de marca vial reconegut. de característiques, un post-processament per verificar la • Posició de la marca vial. validesa dels resultats i un tracking. • Número de marques vials identificades. • Posició relativa del vehicle dins del carril. • Coordenades de la carretera. Fig. 6. Detecció final de marques vials. Altres algoritmes apliquen filtres per detecció de contorns i en fan una posterior extracció dels contorns obtinguts. A continuació s’apliquen tècniques d’anàlisi de Fig. 5. Algoritme de detecció de marques vials. característiques principals i es classifiquen les diferents regions en funció de la longitud del contorn i només s’inclouen les que són suficientment llargues com per 3
  • 4. assegurar que es tracta d’una marca vial. Posteriorment Fourier Transform) entre plantilles models de formes s’aplica la transformada de Hough de la mateixa manera concretes (rectangulars, circulars, octogonals, etc.) amb que en el cas de l’exemple. les ROI obtingudes abans. El resultat obtingut de l’aplicació de la correlació FFT permet determinar la localització de la plantilla buscada. Es pot veure l’efecte C. Detecció de senyals de trànsit del filtrat de color i una posterior correlació de tipus FFT Els mètodes utilitzats pel reconeixement de senyals de en la figura 8. trànsit es poden classificar en diversos grups: per color base, per la forma base i altres. El desafiament en aquest tipus de detecció tornen a ser les ja comentades anteriorment en les altres aplicacions de visió en l’automòbil. Les escenes reals del trànsit, el moviment del mateix vehicle, les condicions d’il·luminació, l’efecte del desenfocament, la distorsió de la imatge, la obstrucció de la senyal per altres objectes o la pròpies limitacions del sensor utilitzat, són els punts crítics del problema. Un exemple d’algoritme que resolgui la detecció de senyals de trànsit és el que es presenta en la imatge de la figura 7. Aquest utilitza una coordenada espacial de referència, a partir de l’algoritme que segueix les marques vials que delimiten el carril, per aconseguir una reducció cost computacional necessari, així com una reducció dels falsos positius que podrien existir després del filtratge per color. Aquest analitza determinades regions d’interès que són els laterals de la via. Fig. 7. Algoritme de detecció de senyals de trànsit. Després de extreure la regió d’interès, s’aplica un Fig. 8. [De dalt a baix] Imatge original. Resultat de filtrar el color. filtratge de color. Els colors de major interès són el Resultat d’aplicar una correlació FFT amb una plantilla rectangular vermell el groc i el negre ja que són colors relacionats mostrant un focus o un pic d’intensitat en la localització de la senyal de límit de velocitat. amb aspectes de seguretat, com poden ser les senyals de STOP, pas de vianants o bé senyals de límit de velocitat. Tot seguit s’aplica un llindar mínim al resultat obtingut La identificació entre aquestes senyals és relativament i es pot localitzar la posició que ocupa la senyal. És difícil fàcil per la diferència que existeix en la seva forma. En que apareguin falsos positius en la imatge d’aplicar el canvi pel cas dels límits de velocitat per la identificació llindar mínim. En el cas dels límits de velocitat s’ha de del límit apareixen diversos candidats. diferenciar el límit escrit en la senyal, per tant és necessari El següent pas posterior al filtratge per color, com que un classificador de senyals per diferenciar-les. Aquest els contorns resultants no són gaire nítids s’apliquen classificador acostuma a ser una xarxa neural que ha de operacions morfològiques, dilatacions o erosions, per tal ser entrenada prèviament amb cada senyal per separat de corregir les formes amb estructures lineals o circulars. amb un conjunt d’imatges reals de senyals del mateix El següent pas comporta una correlació1 FFT (Fast tipus. 1 La correlació es una operació matemàtica molt semblant a la convolució. 4
  • 5. D. Detecció de vehicles 1) Vehicles en angles morts A vegades davant d’una maniobra de gir o un canvi de carril, es produeixen accidents per col·lisions contra vehicles que circulen prop del lateral del vehicle que realitza la maniobra. Aquestes col·lisions sovint es produeixen pel fet que el vehicle que rep el cop està fora del camp de visió dels miralls retrovisors del conductor que provoca el cop. Aquesta situació es dóna amb molta freqüència en vehicles de menor tamany com poden ser motocicletes, ciclomotors o bicicletes. Fig. 10. Exemple de detecció en angle mort en una seqüència de imatges. L'indicador de dalt a la dreta canvi de color verd a blau quan es detecta algun vehicle. 2) Adaptació de les llums del vehicle en funció d’altres vehicles de la via Les estadístiques demostren que més del 80% dels accidents es produeixen durant la nit. És per això que la temàtica de la visió artificial també pot abordar els Fig. 9. Situació dels angles morts en un automòbil. aspectes d’assistència al conductor quan aquest realitza desplaçaments durant les hores nocturnes. La detecció Els sistemes actuals de detecció d’angles morts estan dels vehicles que circulen per la mateixa via pot ajustar de basats fonamentalment en tres tecnologies: processat forma automàtica la direcció i intensitat de la llum emesa. d’imatges, radars de curt/mig rang a 24 GHz i utilització Aquest tipus de regulació podria evitar enlluernaments. de sensors làser. Un altre avantatge que ofereix la primera respecte les altres dues és que les càmeres són sensors passius i barats que no emeten senyals de cap tipus. Tant el radar com els làsers poden causar interferències entre altres vehicles que estiguin equipats amb els mateixos dispositius. Per la detecció dels vehicles en els angles morts mitjançant visió artificial, les imatges són analitzades amb tècniques de flux òptic per tal de detectar píxels que es mouen en la mateixa direcció. Els píxels que produeixen moviment s’agrupen seguint tècniques de clustering. Als clústers obtinguts se’ls aplica un mecanisme de detecció de dues fases per dotar robustesa a l’algoritme de detecció de vehicles. La primera fase és un sistema de pre-detecció que computa el centre de masses dels clústers i determina si es tracta d’un potencial vehicle en funció del tamany dels píxels detectats. La segona fase és un altre detector Fig. 11. Regulació de la il·luminació de l'automòbil mitjançant la que identifica la part frontal del vehicle. Qualsevol detecció de vehicles dins de la via. objecte que mantingui una similitud amb la part frontal d’un vehicle es considerarà que es tracta d’un potencial Un component clau d’aquest sistema és un software de vehicle i sinó en qualsevol cas el pre-detector dispara un visió artificial capaç de distingir blobs produïts des de la senyal de pre-alerta. part frontal dels vehicles i la part posterior, de la llum La posició del vehicle en el pla de la imatge es computa emesa per faroles o bé elements reflectants, com poden i se’n fa l’anàlisi de la seva evolució espacial utilitzant actuar, segons les condicions, les senyals de trànsit. filtres de Kalman per predir la seva posició. El tracking Alguns algoritmes que s’han desenvolupat en aquest continua fins que el vehicle desapareix de l’escena. Un sentit utilitzen classificadors que prenen decisions a partir senyal d’alarma avisa al conductor de l’existència d’un de l’extracció de característiques dels blobs analitzats vehicle dins de l’angle mort fins que es deixa de detectar. centrant-se en la intensitat i la forma. Es parla de classificadors entrenats amb un conjunt de blobs que supera els 60.000. 5
  • 6. L’inconvenient més problemàtic a salvar d’aquest tipus que calculen el temps que cal que transcorri per tal que el de detecció és l’anàlisi de blobs dèbils i petits que vehicle assoleixi la posició del vehicle que el precedeix. corresponen a vehicles molt llunyans que apareixen i reapareixen. Per abordar el problema del seguiment dels blobs s’han: • d’obtenir mesures més característiques dels blobs al llarg de la seva trajectòria; • calcular les seves característiques de moviment que es considerin rellevants per la classificació i, • d’acomplir amb la consistència temporal. Fig. 13. Diagrama del sistema d'avís automàtic d'accident per visió artificial. III. EMPRESES QUE INTEGREN SISTEMES DE VISIÓ ARTIFICIAL ALS AUTOMÒBILS Fins aquest punt s’ha presentant a nivell descriptiu el funcionament d’alguns dels algoritmes i en aquest apartat es procedeix a exposar algunes de les empreses que existeixen actualment i els productes que ofereixen que treballin amb visió artificial. 1) Empresa ITERIS® Iteris® és una empresa que desenvolupa i integra productes tecnològics per millorar la seguretat dels mitjans de transport. No treballen únicament amb processat d’imatges però entre els seus productes destaca el que es basa en visió artificial que és el sistema d’avís en cas de desviació respecte el traçat d el carril. Fig. 12. Tracking dels blobs que es visualitzen. 3) Activació automàtica de les llums d’emergència d’un automòbil en cas de possible accident Hi ha projectes que treballen en sistemes de visió artificial per l’activació automàtica de les llums Fig. 14. Sistema AutoVue® Lane Departure Warning de Iteris® d’emergència d’un automòbil en cas de possible accident. Per detectar un possible accident s’efectua la mesura de la 2) Empresa Valeo® distància i la velocitat relativa respecte els vehicles Aquesta empresa disposa d’un sistema d’avís en cas precedents mitjançant la utilització d’una càmera en que es detecti que el vehicle no segueix el traçat del carril. l’interior de l’automòbil. La imatge rebuda es processa en Aquest sistema està format per una càmera situada a la un sistema hardware a bord del vehicle. Com a resultat part posterior del retrovisor central a l’interior del vehicle del processament realitzat s’obté la distància existent que envia les imatge a un software de processament entre el vehicle propi i el vehicle precedent i la seva d’imatge. L’anàlisi determina la trajectòria del vehicle velocitat relativa. Si es detecta que aquesta velocitat amb el suport del control d’estabilitat, sensors de mesura canvia de forma brusca fins assolir el risc de col·lisió, es de gir i acceleròmetres que determinen les forces procedeix a avisar al conductor de la situació i es a d’acceleració a les que el vehicle està sotmès. La càmera realitzar l’activació automàtica de les llums d’emergència pot detectar línies contínues i discontínues, blanques i per avisar a altres conductors. El tipus d’algoritme grogues, pot funcionar de nit i amb boira. Aquest utilitzat és molt semblant al que s’utilitza pels sistemes producte s’ha desenvolupat amb la col·laboració de l’empresa Iteris®. 6
  • 7. Lane Departure Warning. • Sistema que indica el temps que cal que transcorri per tal que el vehicle assoleixi la posició del vehicle que el precedeix (Headway Monitoring and Warning, HMW). El temps que es considera segur són un mínim de 2 segons. Fig. 15. LaneVue® System de l'empresa Valeo®. Un altre producte que Valeo® també disposa és el sistema d’ajust automàtic de la intensitat de les llums en funció dels vehicles que es detectin en la carretera. S’anomena BeamAtic® Premium i utilitza la mateixa càmera del sistema LaneVue®. Fig. 18. La unitat d'indicació visual del producte C2-170 de Mobileye®. c) C2-270 Collision Prevention System El sistema de prevenció a col·lisions integra les següents funcionalitats: • Forward Collision Warning. Fig. 16. Exemple virtual del funcionament del sistema BeamAtic® • Lane Departure Warning Premium. • Headway Monitoring and Warning. • Sistema d’avís de col·lisions amb vianants 3) Empresa Mobileye® (Pedestrian Collision Warning, PCW). Mobileye® està altament especialitzada en productes • Control de d’ajust de la il·luminació de visó artificial i treballa amb fabricants d’automòbils intel·ligent (Intelligent High-beam Control, com BMV, GM i Volvo. Disposa de 3 productes que IHBC). ofereixen diferents prestacions. a) AWS-2000 El producte que disposa de menys prestacions i l’avís al conductor és únicament per so. Incorpora: • Sistema d’avís per col·lisions frontals (Forward Collision Warning, FCW). Fig. 19. Producte C2-270 de Mobileye® • Sistema d’avís en cas de desviació respecte la trajectòria del carril (Lane Departure Warning, LDW). 4) Vision Automobile Electronics Industrial Co. Empresa que subministra productes electrònics a fabricants d’automòbils com Mitsubishi, Toyota, Mazda, Ford, Suzuki, Honda, Hyundai, etc. Entre els seus productes, el que utilitza tècniques de visó artificial és el sistema d’avís en cas de desviació respecte la trajectòria del carril (Lane Departure Warning). Fig. 17. Únic component del producte AWS-2000 de l’empresa Mobileye®. b) C2-170 Driver Assistance System El sistema d’assistència al conductor incorpora més fucionalitats que el producte anterior. • Forward Collision Warning. 7
  • 8. 3) Citroën C4 Disposa de una càmera just sota de cada un dels retrovisors laterals per analitzar i detectar vehicles en els angles morts. Fig. 20. VAE-710 Lane Departure Warning System de Vision Automobile Electronics Industrial Co. IV. VECHICLES COMERCIALS AMB SISTEMES DE VISIÓ ARTIFICIAL En aquest apartat es presenten alguns models d’automòbils que incorporen sistemes de visió artificial. Fig. 23. Citroën C4 2011. 1) Opel Insignia Incorpora una càmera de reconeixement instal·lada entre el parabrises i el retrovisor interior, i dues càmeres 4) Toyota Crown més a la part inferior dels retrovisors laterals. Treballa dos Toyota ha incorporat en el seu model Crown un aspectes: sistema de visó artificial nocturn que permet la detecció • Reconeixement de senyals de trànsit. de vianants a la calçada, tot i que presenta certes • Avís desviació respecte la direcció del carril. limitacions, com és el cas que únicament funciona si es • Detector de vehicles en angles morts. condueix a una velocitat inferior als 65 km/h. Fig. 21. Opel Insignia amb Opel Eye® Camera. 2) Infiniti M45X Incorpora: • El sistema BLIS® (Blind Spot Information System), per control dels angles morts. • Sistema d’avís desviació respecte la direcció Fig. 24. [Dalt] Vista del panell informatiu del sistema de Toyota. del carril. [Baix] Toyota Crown. 5) Mercedes-Benz Clase-S En la línia del cas de Toyota, Mercedes ha fusionat la detecció de vianants a la calçada, amb una càmera de llum infraroja per visió nocturna, i el control de la llum que emet el vehicle. L’ha batejat amb el nom Active Night View Assist Plus i consisteix en il·luminar el vianant una vegada s’ha detectat mitjançant una llum especialment dedicada que no enlluerna al subjecte i permet al conductor rebassar-lo reduint el perill que presenta tal Fig. 22. Infiniti M45X. situació. 8
  • 9. V. CONCLUSIONS Els sistemes de visió artificial estan demostrant la seva viabilitat en el camp de la seguretat activa en la indústria de l’automòbil, per tal de preveure i evitar possibles accidents. Els sensors necessaris no presenten un elevat cost i es tracta de sistemes passius que no emeten cap tipus de senyal sobre l’entorn, el que comporta la no interferència amb altres dispositius electrònics. Els principals inconvenients que presenta el processat de imatges que s’obtenen en ambients exteriors són els canvis de la il·luminació, les vibracions i moviment del propi vehicle, la velocitat de processament que es requereix, les condicions meteorològiques, la obstrucció visual dels elements objectius com senyals, vianants, etc. i les limitacions que presenti el propi sensor. Tot i les Fig. 25. Active Night View Assist Plus. dificultats que es donen, s’han desenvolupat algoritmes que aconsegueixen acomplir amb la seva missió i a més El Mercedes Classe-S a més ofereix els sistemes de : amb un alt percentatge d’efectivitat. No són sistemes • Reconeixement de senyals de trànsit. infalibles perquè són sensibles a moltes condicions que no • Sistema d’avís desviació respecte la direcció es poden controlar, però s’estan aconseguint bons del carril. resultats fins al punt d’introduir-los en models d’automòbils que es troben en el mercat. En molts casos, de moment, els sistemes de visió artificial només actuen com sistemes d’assistència al conductor, el qual segueix sent l’últim esglaó en la cadena de presa de decisions durant la conducció. És per això que s’avança cap a una direcció on les persones cada vegada tinguin menys importància dins del control del moviment del vehicle i s’intenta dirigir cap a sistemes totalment guiats i controlats per computadors. El problema d’aquest avenç tecnològic és que la societat actualment no està Fig. 26. Merdeces-Benz Classe-S preparada per acceptar aquest tipus de tecnologia, ni la tecnologia està desenvolupada suficientment com per implantar-se de forma tan imminent. Per tant, s’ha de 6) Volvo XC60, XC70 i S80 seguir treballant per poder introduir sistemes de visió La casa Volvo ofereix en els seus models XC60, XC70 artificial de forma progressiva i segura. i S80 ofereix el sistema BLIS® per control dels angles morts. REFERÈNCIES 1) Articles [1] C Hilario, J M Collado, J Mª Armingol, A de la Escalera. Detección de peatones para vehículos inteligentes basada en modelos de contornos activos y visión estéreo. Leganés: Universidad Carlos III de Madrid; 2005. [2] MA Sotelo, J Barriga. Blind spot detection using visión for automotive applications. Alcalá de Henares: Universidad de Alcalá; 2008. [3] P Boyaz, X Yang, Sathyanarayana, J Hansen. Computer visión systems for “context-aware”. Active vehicle safety and driver assistance. Richardson: University of Texas at Dallas, Department of Electrical Engineering; 2009. Fig. 27. [Dalt] Càmera situada sota el retrovisor lateral. [Baix] Volvo XC60. 9
  • 10. [4] T Birdal, A Erçil. Real-time automated road, lane and car detection for autonomous driving. Orhanli: Sabanci University; 2008. 2) Tesi doctoral [5] C Hilaro. Detección de Peatones en el Espectro Visible e Infrarrojo para un Sistema Avanzado de Asistencia a la Conducción [tesi]. Leganés: Universidad Carlos III de Madrid; 2008. 3) Pàgines web [6] Avanced Driver Assistace Systems Group. [consultat: 5 abr 2011]. Disponible: a: http://www.cvc.uab.es/adas/index.php?section=projects_i ntelligentheadlights/. [7] Citroen. [consultat: 3 abr 2011]. Disponible a: http://www.citroen.es/. [8] Infinity. [consultat: 3 abr 2011]. Disponible a: http://www.infiniti.es/. [9] Inventos patentados en España. [consultat: 4 abr 2011]. Disponible a: http://patentados.com/invento/sistema-de-vision-artificial- para-la-activacion-automatica-de-las-luce.html/. [10] Iteris. Innovation for better mobility. [consultat: 4 abr 2011]. Disponible a: http://www.iteris.com/. [11] Mercedes Benz. [consultat: 3 abr 2011]. Disponible a: http://www.mercedes-benz.es/. [12] Mobile. Our vision your safety. [consultat: 5 abr 2011]. Disponible a: http://www.mobileye.com/es. Opel. [consultat: 3 abr 2011]. Disponible a: http://www.opel.es/. Toyota . [consultat: 3 abr 2011]. Disponible a: http:// www.toyota.es/. Valeo. [consultat: 4 abr 2011]. Disponible a: http://www.valeo.com/. Vision security. [consultat: 5 abr 2011]. Disponible a: http://www.visionsecurity.com.tw/. Volvo. [consultat: 4 abr 2011]. Disponible a: http://www.volvocars.com/. 10