Globalcode – Open4education
Detecção de anomalias em sensor veicular a
partir de classificadores one-class
Eronides da Silva Neto
efsn@cesar.org.br
2
Agenda
- Introdução
-
- O sistema de detecção de anomalias veiculares
-
- Experimentos realizados
- Resultados
3
About Me
Engenheiro da Computação no C.E.S.A.R.
-
- Mestre em Ciência da Computação (CIn-UFPE)
- Engenheiro Eletrônico (UFPE)
Open-source hardware enthusiast
4
Quantos MB de dados produzimos
diariamente em um carro?
5
Os níveis de automação x Dados produzidos em um veículo
Sem Automação
1Mb/s
Veículo comum
Assistência ao
Condutor
10 Mb/s
Execução de
tarefas básicas
De onde vem essa
quantidade de dados toda? Alta Automação
>1 GB/s
O carro é autônomo
na maior parte do
tempo
Automação Total
Não há necessidade
de um motorista
> 3GB/s
Fontes: https://bit.ly/2OAL24i e https://bit.ly/30Uw9wy
Automação Parcial
10-30Mb/s
Presença de mais de
um sistema de
automação
Automação
Condicionada
Executa maior parte
das funções
autônomas, mas
necessita de motorista
1GB/s
6
Os sensores geram os dados!
Fonte: Sensor Technologies for Intelligent Transportation Systems
Veículo Comum
7
O que fazer então com dados de um veículo comum?
- a
-
8
Telemetria veicular para análise dos dados
- O setor de telemetria veicular possui um mercado estimado em 45 bilhões de
dólares neste ano (WAHLSTRÖM; SKOG; HÄN-DEL, 2017).
-
- Pesquisa: Como é a experiência do consumidor ao usar um carro conectado?
Fonte: (CIN-UFPE/FCA, 2018)
9
Sistema de Aquisição de dados Veicular
- Coleta de 27 parâmetros de um veículo Toyota Etios a uma taxa de uma
amostra por segundo (1Hz) a partir da interface OBD-II;
- Uso da plataforma open-source hardware Particle Electron com a placa
Carloop.
Hardware utilizadoOnde localizar interface OBD-II no veículo
10
Base de dados Veicular
- Criação de uma base de dados com dois modos veiculares. Modo em
movimento possui quatro cenários distintos, considerando diferentes tipos
de trajetória e o modo IDLE representa o veículo parado.
- Ciclo veicular (trip): uma trajetória completa, para ambos modos.
● Trajeto em Áreas Urbanas
● Trajeto em Vias Expressas
● Trajeto em Universidade
● Trajeto Fixo
Dados disponíveis em github.com/eron93br/carOBD
11
Mas quais foram os dados obtidos?
- Alguns dos dados obtidos eram:
- Carga do Motor
- Velocidade
- Rotações por Minuto (RPM)
- Entre os problemas mais comuns enfrentados pelos motoristas está o
superaquecimento do motor.
12
Um sistema para detecção de anomalias no sensor do líquido de
arrefecimento do motor?
13
Detecção de Anomalias
- Sistemas aprendem a partir de dados fornecidos e consequentemente, identificam
padrões a partir de decisão própria;
- Um classificador one-class é uma técnica de aprendizado de máquina adaptada para
o problema.
Conjunto de
Treinamento
Novas
Instâncias
Modelo Construído
Construção do
Modelo
Resultado
Fonte: adaptado de (MAPR Technologies, 2019)
14
Visão geral do sistema de detecção de anomalias veiculares
15
Extração de características
- Como parte do pré-processamento dos dados, todos os atributos são normalizados.
- O sinal de uma trip (ciclo veicular) de k segundos pode ser representado então
por:
- Torna-se interessante analisar intervalos de operação do sensor. Assim, é usada
uma janela de tamanho N para extração da média, variância e desvio padrão de
cada atributo:
16
Seleção de características
- A partir de análise dos 27 parâmetros coletados pelo sistema, apenas a carga do motor
(Load) e número de rotações (RPM) por minuto são diretamente relacionados ao sistema
do sensor ECT.
- Análise da correlação média destes parâmetros com outros quatro (Long Term Fuel Trim,
Nível do tanque, Manifold Absolute Pressure e Temperatura do Catalisador).
- Após análise dos atributos, é definida a instância de entrada para o sistema:
17
Inserção de Anomalias
- Com a coleta de dados do
funcionamento normal
do veículo, anomalias são
inseridas de maneira
artificial.
- Inserção a partir de
análise do mau
funcionamento do
sensor, baseado em
níveis de ruído presente
no sinal.
1
2
3
18
Comparação Sinal x sinal com anomalia
19
Métricas de performance
- Avaliação de um classificador pode ser realizada a partir de sua matriz de
confusão.
- Objetivo de avaliar a detecção de maneira conjunta, tanto outliers quanto target.
- Uso da métrica F2-score, que considera tanto a precisão quanto a sensibilidade em
sua fórmula.
20
Avaliação dos classificadores One-Class
- Gauss data description
- k-NN data description
- Mahalanobis classifier
- Minimum Spanning Tree (MST)
- Naive Parzen data description
- Self-organized map (SOM)
- Parzen data description
- Support Vector Data Description (SVDD)
- Extreme Value
- One Class SVM (OC-SVM)
21
Setup dos experimentos
- Uso da toolbox DDTools (desenvolvida por David Tax) versão 2.1.3 no
software MATLAB.
- Processo de treinamento apenas com dados do funcionamento normal do
veículo.
- Separação de dois grupos , ||A|| e ||B|| para treinamento e teste.
- Para fins estatísticos, são treinados e testados 30 diferentes modelos.
22
Divisão dos grupos de treinamento e teste
23
Resultados
- O processo de treinamento e teste foram executados trinta vezes e então os
resultados analisados:
24
Resultados: detalhe do nível II
- Uma análise gráfica dos resultados para o segundo nível de anomalia
25
Conclusões
- A análise realizada neste trabalho confirma a necessidade da análise de
anomalias e falhas em sensores veiculares em diferentes níveis de
degeneração.
- O procedimento utilizado para a inserção de anomalias no sensor veicular
pode ser usado para análise de outros sensores resistivos.
Obrigado!
github.com/eron93br
Eronides da Silva Neto
efsn@cesar.org.br

Detecção de anomalias em sensor veicular a partir de classificadores one-class

  • 1.
    Globalcode – Open4education Detecçãode anomalias em sensor veicular a partir de classificadores one-class Eronides da Silva Neto efsn@cesar.org.br
  • 2.
    2 Agenda - Introdução - - Osistema de detecção de anomalias veiculares - - Experimentos realizados - Resultados
  • 3.
    3 About Me Engenheiro daComputação no C.E.S.A.R. - - Mestre em Ciência da Computação (CIn-UFPE) - Engenheiro Eletrônico (UFPE) Open-source hardware enthusiast
  • 4.
    4 Quantos MB dedados produzimos diariamente em um carro?
  • 5.
    5 Os níveis deautomação x Dados produzidos em um veículo Sem Automação 1Mb/s Veículo comum Assistência ao Condutor 10 Mb/s Execução de tarefas básicas De onde vem essa quantidade de dados toda? Alta Automação >1 GB/s O carro é autônomo na maior parte do tempo Automação Total Não há necessidade de um motorista > 3GB/s Fontes: https://bit.ly/2OAL24i e https://bit.ly/30Uw9wy Automação Parcial 10-30Mb/s Presença de mais de um sistema de automação Automação Condicionada Executa maior parte das funções autônomas, mas necessita de motorista 1GB/s
  • 6.
    6 Os sensores geramos dados! Fonte: Sensor Technologies for Intelligent Transportation Systems Veículo Comum
  • 7.
    7 O que fazerentão com dados de um veículo comum? - a -
  • 8.
    8 Telemetria veicular paraanálise dos dados - O setor de telemetria veicular possui um mercado estimado em 45 bilhões de dólares neste ano (WAHLSTRÖM; SKOG; HÄN-DEL, 2017). - - Pesquisa: Como é a experiência do consumidor ao usar um carro conectado? Fonte: (CIN-UFPE/FCA, 2018)
  • 9.
    9 Sistema de Aquisiçãode dados Veicular - Coleta de 27 parâmetros de um veículo Toyota Etios a uma taxa de uma amostra por segundo (1Hz) a partir da interface OBD-II; - Uso da plataforma open-source hardware Particle Electron com a placa Carloop. Hardware utilizadoOnde localizar interface OBD-II no veículo
  • 10.
    10 Base de dadosVeicular - Criação de uma base de dados com dois modos veiculares. Modo em movimento possui quatro cenários distintos, considerando diferentes tipos de trajetória e o modo IDLE representa o veículo parado. - Ciclo veicular (trip): uma trajetória completa, para ambos modos. ● Trajeto em Áreas Urbanas ● Trajeto em Vias Expressas ● Trajeto em Universidade ● Trajeto Fixo Dados disponíveis em github.com/eron93br/carOBD
  • 11.
    11 Mas quais foramos dados obtidos? - Alguns dos dados obtidos eram: - Carga do Motor - Velocidade - Rotações por Minuto (RPM) - Entre os problemas mais comuns enfrentados pelos motoristas está o superaquecimento do motor.
  • 12.
    12 Um sistema paradetecção de anomalias no sensor do líquido de arrefecimento do motor?
  • 13.
    13 Detecção de Anomalias -Sistemas aprendem a partir de dados fornecidos e consequentemente, identificam padrões a partir de decisão própria; - Um classificador one-class é uma técnica de aprendizado de máquina adaptada para o problema. Conjunto de Treinamento Novas Instâncias Modelo Construído Construção do Modelo Resultado Fonte: adaptado de (MAPR Technologies, 2019)
  • 14.
    14 Visão geral dosistema de detecção de anomalias veiculares
  • 15.
    15 Extração de características -Como parte do pré-processamento dos dados, todos os atributos são normalizados. - O sinal de uma trip (ciclo veicular) de k segundos pode ser representado então por: - Torna-se interessante analisar intervalos de operação do sensor. Assim, é usada uma janela de tamanho N para extração da média, variância e desvio padrão de cada atributo:
  • 16.
    16 Seleção de características -A partir de análise dos 27 parâmetros coletados pelo sistema, apenas a carga do motor (Load) e número de rotações (RPM) por minuto são diretamente relacionados ao sistema do sensor ECT. - Análise da correlação média destes parâmetros com outros quatro (Long Term Fuel Trim, Nível do tanque, Manifold Absolute Pressure e Temperatura do Catalisador). - Após análise dos atributos, é definida a instância de entrada para o sistema:
  • 17.
    17 Inserção de Anomalias -Com a coleta de dados do funcionamento normal do veículo, anomalias são inseridas de maneira artificial. - Inserção a partir de análise do mau funcionamento do sensor, baseado em níveis de ruído presente no sinal. 1 2 3
  • 18.
    18 Comparação Sinal xsinal com anomalia
  • 19.
    19 Métricas de performance -Avaliação de um classificador pode ser realizada a partir de sua matriz de confusão. - Objetivo de avaliar a detecção de maneira conjunta, tanto outliers quanto target. - Uso da métrica F2-score, que considera tanto a precisão quanto a sensibilidade em sua fórmula.
  • 20.
    20 Avaliação dos classificadoresOne-Class - Gauss data description - k-NN data description - Mahalanobis classifier - Minimum Spanning Tree (MST) - Naive Parzen data description - Self-organized map (SOM) - Parzen data description - Support Vector Data Description (SVDD) - Extreme Value - One Class SVM (OC-SVM)
  • 21.
    21 Setup dos experimentos -Uso da toolbox DDTools (desenvolvida por David Tax) versão 2.1.3 no software MATLAB. - Processo de treinamento apenas com dados do funcionamento normal do veículo. - Separação de dois grupos , ||A|| e ||B|| para treinamento e teste. - Para fins estatísticos, são treinados e testados 30 diferentes modelos.
  • 22.
    22 Divisão dos gruposde treinamento e teste
  • 23.
    23 Resultados - O processode treinamento e teste foram executados trinta vezes e então os resultados analisados:
  • 24.
    24 Resultados: detalhe donível II - Uma análise gráfica dos resultados para o segundo nível de anomalia
  • 25.
    25 Conclusões - A análiserealizada neste trabalho confirma a necessidade da análise de anomalias e falhas em sensores veiculares em diferentes níveis de degeneração. - O procedimento utilizado para a inserção de anomalias no sensor veicular pode ser usado para análise de outros sensores resistivos.
  • 26.