Copyright © EdgeImpulse Inc.
Embedded Machine Learning
na prática
Setembro 2021
João Dullius
Engenheiro de Aplicações (FAE) – BP&M Rep
www.linkedin.com/in/joaodullius
joaodullius@bpmrep.com.br
Copyright © EdgeImpulse Inc.
2
Machine learning?
Sensores
Áudio
Visão
Status
Evento Detectado 85%
De Cortex-M a Jetson Nano
A partir de < 10 kB de Flash/RAM
Inferência tempo real de baixo
consumo
3 Copyright © EdgeImpulse Inc.
Dispositivo Embarcado
Embedded ML torna dispositivos mais
inteligentes
Sensores
Cortex-M0+
Detecção de Anomalias
Classificação em
Sensores
20 kB
4 Copyright © EdgeImpulse Inc.
Embedded ML torna dispositivos mais
inteligentes
Sensores
Áudio
Arduino Nano
Cortex-M4
Ativação por Voz
Classificação de Áudio
50 kB
Cortex-M0+
Detecção de Anomalias
Classificação em
Sensores
20 kB
5 Copyright © EdgeImpulse Inc.
Embedded ML torna dispositivos mais
inteligentes
Visão
Sensores
Áudio
Arduino Nano
Cortex-M4
Ativação por Voz
Classificação de Áudio
50 kB
Arduino Pro
Cortex-M7
Classificação
de Imagem
250 kB+
Cortex-M0+
Detecção de Anomalias
Classificação em
Sensores
20 kB
6 Copyright © EdgeImpulse Inc.
Embedded ML torna dispositivos mais
inteligentes
Visão
Sensores
Áudio
Arduino Nano
Cortex-M4
Ativação por Voz
Classificação de Áudio
50 kB
Arduino Pro
Cortex-M7
Classificação
de Imagem
250 kB+
Raspberry Pi
Cortex-A
Detecção de Objetos
Processamento de Voz
Complexo
1MB+
Cortex-M0+
Detecção de Anomalias
Classificação em
Sensores
20 kB
7 Copyright © EdgeImpulse Inc.
Embedded ML torna dispositivos mais
inteligentes
Jetson Nano
Cortex-A + GPU
Classificação
de Vídeo
Visão
Sensores
Áudio
Arduino Nano
Cortex-M4
Ativação por Voz
Classificação de Áudio
50 kB
Arduino Pro
Cortex-M7
Classificação
de Imagem
250 kB+
Raspberry Pi
Cortex-A
Detecção de Objetos
Processamento de Voz
Complexo
1MB+
Cortex-M0+
Detecção de Anomalias
Classificação em
Sensores
20 kB
8 Copyright © EdgeImpulse Inc.
Embedded ML torna dispositivos mais
inteligentes
Rótulo: Evento
Dataset Modelo ML
Treinamento
ML aprimora seus sensors com matemática
Sensor
9 Copyright ©
EdgeImpulse Inc.
Modelo ML
ML aprimora seus sensors com matemática
Sensor
1
0
Copyright ©
EdgeImpulse Inc.
Embarcado
Status
Event Detected 85%
O Problema
Plataforma de Edge ML otimizada para
dispositivos embarcados e tempo-real
Plataforma ML e comunidade focada
no desenvolvimento embarcado
11 Copyright © EdgeImpulse Inc.
87% dos projetos de AI não
chegam a produção devido a
falhas operacionais nos dados,
infra ou nos times
Tecnologia MLOps de ponta desde os
dados até a implementação unindo
todos os times
Atualmente 99% dos dados de
sensores e dispositivos são
descartados devido a bateria,
banda e custos
Modelos ML atuais são desenvolvidos
para cientistas de dados e não para
desenvolvedores embarcados
Um time mundial de líderes da industria, entregando uma
experiência única para Desenvolvimento de embedded machine
learning com escalabilidade.
8,000 +
Desenvolvedores
12 Copyright © EdgeImpulse Inc.
12,000 +
Projetos
> 8 Million
Dataset samples
A maior comunidade de
Embedded Machine Learning,
presente em mais de 136
países!
Utilizando Edge Impulse
Studio em mais de 1,000
Enterprises
Dados do mundo real
rotulados através de mais
de 9K dispositivos
conectados
Manutenção
Preditiva
Movimento, corrente, áudio e
imagem
➔
➔
➔
➔
Industrial
Bens de Consumo
Infraestrutura
Automotivo
Localização e
Monitoramento
Movimento, temperatura,
umidade, posição, áudio e
imagem
Sensoriamento
Humano e Animal
➔
➔
➔
13 Copyright © EdgeImpulse Inc.
Logística
Infraestrutura
Edifícios Inteligentes
➔
➔
➔
Saúde
Consumidor
Industrial
Movimento, radar,
áudio, PPG, ECG
Learn more at http://edgeimpulse.com
A Plataforma Líder de Embedded ML
1
4
Copyright ©
EdgeImpulse Inc.
Test Deploy
Dataset Impulse
APIs
Data Traceability
and Security
Dataset Lifecycle
Management
Model Versioning
Enterprise
Algorithms
Deployed Model
Analytics
MLOps
Data Upload
Embedded
Sensors
Hybrid-Cloud
Data
Data Science
Tools
CICD and Test
Automation
ML/Target
Optimization
Embedded
Edge Compute
C++
WASM
Auto model and
parameter search
1
5
Copyright ©
EdgeImpulse Inc.
Data
Collection
Flexible
Deployment
Leading
Integrations
Edge Impulse hybrid-cloud ML development platform
Mobile and Web
(WebAssembly)
EON Compiler
Trusted by the embedded industry
1
6
Copyright ©
EdgeImpulse Inc.
Copyright © EdgeImpulse Inc.
Estudos de Caso
Confirma ML em ação, utilizando a Tecnologia da Edge Impulse
19
Resultados
Salvou anos-homem de tempo
de projeto e aumentou a
colaboração entre os times
Acelerou o desenvolvimento do
algoritmo de anos para meses
Status
Movimento
Batimentos
Cardíacos Possibilita novos algoritmos para
detecção de gripe e qualidade
de sono
Criando a Saúde Inteligente com ML
18 Copyright © EdgeImpulse Inc.
Líder e monitoramento weareable de saúde inovando com Edge Impulse
Temperatura
Saudável, Score de Sono 91%
Resultados
NB-IoT com 10 anos de
bateria possibilitado pelo
ML
Evita incêndios em áreas
remotas ee diminui custo de
manutenção
Status
Vibração
Corrente
Possibiita monitoramento
autônomo de postes e linhas de
transmissão
Criando a Eletricidade Inteligente com ML
19 Copyright © EdgeImpulse Inc.
Solução para o Grid Elétrico possibilita detecção de falhas em tempo real com Edge Impulse
Fogo na linha de transmissão detectado!
Criando a Conservação Inteligente com ML
Resultados
Better understand elephant
and herd behaviour
Monitor the activities of
elephants to better protect
them
Detectado
Movimento
Áudio
Imagem
A inicitativa ElephantEdge possibilita o monitoramente de vida selvagem com Edge Impulse
20 Copyright © EdgeImpulse Inc.
Monitor and reduce poaching
and human conflict risk
Movimento Migratório da Manada
Copyright © EdgeImpulse Inc.
Para saber mais…
23
https://www.edgeimpulse.com/imagine
23 Copyright © EdgeImpulse Inc.
3 dias de puro ML Embarcado
29 Setembro 30 Setembro 1º Outubro
Coursera: Intro to Embedded Machine Learning
https://www.coursera.org/learn/introduction-to-embedded-machine-learning
2
5
Copyright ©
EdgeImpulse Inc.
Copyright © EdgeImpulse Inc.
Vendo na
Prática…
23
Nordic Thingy:52
Acelerômetro
Umidade, Temperatura e
Pressão
Qualidade do Ar
Microfone
Sensor de Luz RGB
Nordic Thingy:52
Acelerômetro
Umidade, Temperatura e
Pressão
Qualidade do Ar
Microfone
Sensor de Luz RGB
Nordic Thingy:52
Acelerômetro
Umidade, Temperatura e
Pressão
Qualidade do Ar
Microfone
Sensor de Luz RGB
Nordic Thingy:52
Acelerômetro
Umidade, Temperatura e
Pressão
Qualidade do Ar
Microfone
Sensor de Luz RGB
Nordic Thingy:52
UART @ USB
AccelX, AccelY, AccelZ
@ 100 Hz
Acelerômetro
Umidade, Temperatura e
Pressão
Qualidade do Ar
Microfone
Sensor de Luz RGB
Nordic Thingy:52
UART @ USB
edge-impulse-data-forwarder
AccelX, AccelY, AccelZ
@ 100 Hz
Acelerômetro
Umidade, Temperatura e
Pressão
Qualidade do Ar
Microfone
Sensor de Luz RGB
Nordic Thingy:52
UART @ USB
edge-impulse-data-forwarder
AccelX, AccelY, AccelZ
@ 100 Hz
Edge Impulse Platform
www.bpmrep.com.br
contato@bpmrep.com.br

Webinar: Embedded Machine Learning na prática

  • 1.
    Copyright © EdgeImpulseInc. Embedded Machine Learning na prática Setembro 2021 João Dullius Engenheiro de Aplicações (FAE) – BP&M Rep www.linkedin.com/in/joaodullius joaodullius@bpmrep.com.br
  • 2.
    Copyright © EdgeImpulseInc. 2 Machine learning?
  • 3.
    Sensores Áudio Visão Status Evento Detectado 85% DeCortex-M a Jetson Nano A partir de < 10 kB de Flash/RAM Inferência tempo real de baixo consumo 3 Copyright © EdgeImpulse Inc. Dispositivo Embarcado Embedded ML torna dispositivos mais inteligentes
  • 4.
    Sensores Cortex-M0+ Detecção de Anomalias Classificaçãoem Sensores 20 kB 4 Copyright © EdgeImpulse Inc. Embedded ML torna dispositivos mais inteligentes
  • 5.
    Sensores Áudio Arduino Nano Cortex-M4 Ativação porVoz Classificação de Áudio 50 kB Cortex-M0+ Detecção de Anomalias Classificação em Sensores 20 kB 5 Copyright © EdgeImpulse Inc. Embedded ML torna dispositivos mais inteligentes
  • 6.
    Visão Sensores Áudio Arduino Nano Cortex-M4 Ativação porVoz Classificação de Áudio 50 kB Arduino Pro Cortex-M7 Classificação de Imagem 250 kB+ Cortex-M0+ Detecção de Anomalias Classificação em Sensores 20 kB 6 Copyright © EdgeImpulse Inc. Embedded ML torna dispositivos mais inteligentes
  • 7.
    Visão Sensores Áudio Arduino Nano Cortex-M4 Ativação porVoz Classificação de Áudio 50 kB Arduino Pro Cortex-M7 Classificação de Imagem 250 kB+ Raspberry Pi Cortex-A Detecção de Objetos Processamento de Voz Complexo 1MB+ Cortex-M0+ Detecção de Anomalias Classificação em Sensores 20 kB 7 Copyright © EdgeImpulse Inc. Embedded ML torna dispositivos mais inteligentes
  • 8.
    Jetson Nano Cortex-A +GPU Classificação de Vídeo Visão Sensores Áudio Arduino Nano Cortex-M4 Ativação por Voz Classificação de Áudio 50 kB Arduino Pro Cortex-M7 Classificação de Imagem 250 kB+ Raspberry Pi Cortex-A Detecção de Objetos Processamento de Voz Complexo 1MB+ Cortex-M0+ Detecção de Anomalias Classificação em Sensores 20 kB 8 Copyright © EdgeImpulse Inc. Embedded ML torna dispositivos mais inteligentes
  • 9.
    Rótulo: Evento Dataset ModeloML Treinamento ML aprimora seus sensors com matemática Sensor 9 Copyright © EdgeImpulse Inc.
  • 10.
    Modelo ML ML aprimoraseus sensors com matemática Sensor 1 0 Copyright © EdgeImpulse Inc. Embarcado Status Event Detected 85%
  • 11.
    O Problema Plataforma deEdge ML otimizada para dispositivos embarcados e tempo-real Plataforma ML e comunidade focada no desenvolvimento embarcado 11 Copyright © EdgeImpulse Inc. 87% dos projetos de AI não chegam a produção devido a falhas operacionais nos dados, infra ou nos times Tecnologia MLOps de ponta desde os dados até a implementação unindo todos os times Atualmente 99% dos dados de sensores e dispositivos são descartados devido a bateria, banda e custos Modelos ML atuais são desenvolvidos para cientistas de dados e não para desenvolvedores embarcados
  • 12.
    Um time mundialde líderes da industria, entregando uma experiência única para Desenvolvimento de embedded machine learning com escalabilidade. 8,000 + Desenvolvedores 12 Copyright © EdgeImpulse Inc. 12,000 + Projetos > 8 Million Dataset samples A maior comunidade de Embedded Machine Learning, presente em mais de 136 países! Utilizando Edge Impulse Studio em mais de 1,000 Enterprises Dados do mundo real rotulados através de mais de 9K dispositivos conectados
  • 13.
    Manutenção Preditiva Movimento, corrente, áudioe imagem ➔ ➔ ➔ ➔ Industrial Bens de Consumo Infraestrutura Automotivo Localização e Monitoramento Movimento, temperatura, umidade, posição, áudio e imagem Sensoriamento Humano e Animal ➔ ➔ ➔ 13 Copyright © EdgeImpulse Inc. Logística Infraestrutura Edifícios Inteligentes ➔ ➔ ➔ Saúde Consumidor Industrial Movimento, radar, áudio, PPG, ECG
  • 14.
    Learn more athttp://edgeimpulse.com A Plataforma Líder de Embedded ML 1 4 Copyright © EdgeImpulse Inc.
  • 15.
    Test Deploy Dataset Impulse APIs DataTraceability and Security Dataset Lifecycle Management Model Versioning Enterprise Algorithms Deployed Model Analytics MLOps Data Upload Embedded Sensors Hybrid-Cloud Data Data Science Tools CICD and Test Automation ML/Target Optimization Embedded Edge Compute C++ WASM Auto model and parameter search 1 5 Copyright © EdgeImpulse Inc. Data Collection Flexible Deployment Leading Integrations Edge Impulse hybrid-cloud ML development platform Mobile and Web (WebAssembly) EON Compiler
  • 16.
    Trusted by theembedded industry 1 6 Copyright © EdgeImpulse Inc.
  • 17.
    Copyright © EdgeImpulseInc. Estudos de Caso Confirma ML em ação, utilizando a Tecnologia da Edge Impulse 19
  • 18.
    Resultados Salvou anos-homem detempo de projeto e aumentou a colaboração entre os times Acelerou o desenvolvimento do algoritmo de anos para meses Status Movimento Batimentos Cardíacos Possibilita novos algoritmos para detecção de gripe e qualidade de sono Criando a Saúde Inteligente com ML 18 Copyright © EdgeImpulse Inc. Líder e monitoramento weareable de saúde inovando com Edge Impulse Temperatura Saudável, Score de Sono 91%
  • 19.
    Resultados NB-IoT com 10anos de bateria possibilitado pelo ML Evita incêndios em áreas remotas ee diminui custo de manutenção Status Vibração Corrente Possibiita monitoramento autônomo de postes e linhas de transmissão Criando a Eletricidade Inteligente com ML 19 Copyright © EdgeImpulse Inc. Solução para o Grid Elétrico possibilita detecção de falhas em tempo real com Edge Impulse Fogo na linha de transmissão detectado!
  • 20.
    Criando a ConservaçãoInteligente com ML Resultados Better understand elephant and herd behaviour Monitor the activities of elephants to better protect them Detectado Movimento Áudio Imagem A inicitativa ElephantEdge possibilita o monitoramente de vida selvagem com Edge Impulse 20 Copyright © EdgeImpulse Inc. Monitor and reduce poaching and human conflict risk Movimento Migratório da Manada
  • 21.
    Copyright © EdgeImpulseInc. Para saber mais… 23
  • 22.
  • 23.
    23 Copyright ©EdgeImpulse Inc.
  • 24.
    3 dias depuro ML Embarcado 29 Setembro 30 Setembro 1º Outubro
  • 25.
    Coursera: Intro toEmbedded Machine Learning https://www.coursera.org/learn/introduction-to-embedded-machine-learning 2 5 Copyright © EdgeImpulse Inc.
  • 26.
    Copyright © EdgeImpulseInc. Vendo na Prática… 23
  • 27.
  • 28.
    Acelerômetro Umidade, Temperatura e Pressão Qualidadedo Ar Microfone Sensor de Luz RGB Nordic Thingy:52
  • 29.
    Acelerômetro Umidade, Temperatura e Pressão Qualidadedo Ar Microfone Sensor de Luz RGB Nordic Thingy:52
  • 30.
    Acelerômetro Umidade, Temperatura e Pressão Qualidadedo Ar Microfone Sensor de Luz RGB Nordic Thingy:52
  • 31.
    Acelerômetro Umidade, Temperatura e Pressão Qualidadedo Ar Microfone Sensor de Luz RGB Nordic Thingy:52 UART @ USB AccelX, AccelY, AccelZ @ 100 Hz
  • 32.
    Acelerômetro Umidade, Temperatura e Pressão Qualidadedo Ar Microfone Sensor de Luz RGB Nordic Thingy:52 UART @ USB edge-impulse-data-forwarder AccelX, AccelY, AccelZ @ 100 Hz
  • 33.
    Acelerômetro Umidade, Temperatura e Pressão Qualidadedo Ar Microfone Sensor de Luz RGB Nordic Thingy:52 UART @ USB edge-impulse-data-forwarder AccelX, AccelY, AccelZ @ 100 Hz Edge Impulse Platform
  • 34.