Coisas estranhas que podemos fazer 
com dados coletados em dispositivos 
moveis: bye-bye privacidade! 
Human Activity Recognition 
Fabrcio J. Barth 
fabricio.barth@gmail.com 
Faculdade BandTec e Watson Group IBM 
Novembro de 2014
Exemplos de dispositivos 
e dados que podem ser 
coletados 
2
Celulares 
Exemplos de dispositivos e dados que podem ser coletados | Celulares 3
Coleta informac~oes sobre: 
 Localizac~ao (latitude e longitude); 
 Movimentac~ao (aceler^ometro, giroscopio); 
 Ambiente (audio, proximidade, luminosidade); 
 Social (historico de ligac~oes, contatos). 
Exemplos de dispositivos e dados que podem ser coletados | Celulares 4
Relogios 
Exemplos de dispositivos e dados que podem ser coletados | Relogios 5
Coleta informac~oes sobre: 
 Frequ^encia cardaca; 
 Press~ao arterial. 
Exemplos de dispositivos e dados que podem ser coletados | Relogios 6
Outras aplicac~oes (talvez menos uteis) 
Exemplos de dispositivos e dados que podem ser coletados | Outras aplicac~oes (talvez menos uteis) 7
Monitora atividades fsicas 
Exemplos de dispositivos e dados que podem ser coletados | Monitora atividades fsicas 8
Monitora: 
 Que atividade esta sendo realizada; 
 Qual a durac~ao; 
 Qual a frequ^encia. 
Exemplos de dispositivos e dados que podem ser coletados | Monitora atividades fsicas 9
Disney 
Exemplos de dispositivos e dados que podem ser coletados | Disney 10
Monitora: 
 Quando entrou e saiu do parque; 
 Por onde andou; 
 O que e quando comprou; 
 Em quais parques foi e quando foi. 
Exemplos de dispositivos e dados que podem ser coletados | Disney 11
O que podemos fazer 
com os dados coletados? 
12
Primeiro exemplo de aplicac~ao [2] 
O que podemos fazer com os dados coletados? | Primeiro exemplo de aplicac~ao [2] 13
O objetivo deste exemplo e construir um classi
cador 
capaz de dizer que atividade (sitting, sitting down, 
standing, standing up, walking) uma pessoa esta 
realizando a partir de dados coletados de aceler^ometros 
presentes no corpo desta pessoa. 
O que podemos fazer com os dados coletados? | Primeiro exemplo de aplicac~ao [2] 14
Pipeline do processo para reconhecimento 
de atividades [1] 
O que podemos fazer com os dados coletados? | Pipeline do processo para reconhecimento de atividades [1] 15
Dados coletados e
ltrados 
 Dados coletados a partir de 4 tri-axial aceler^ometros. 
 Foram consideradas janelas de tempo de 1 segundo, 
com overlapping de 150ms. 
 Medidas de roll, pitch e modulo de acelerac~ao foram 
adquiridas. 
 A amostra dentro da janela de tempo foi agrupada e 
atributos foram gerados (i.e., vari^ancia, media). 
 Foram
ltrados 12 atributos
nais - tr^es para cada 
aceler^ometro. 
O que podemos fazer com os dados coletados? | Dados coletados e
ltrados 16
Construc~ao do classi
cador 
 O dataset possui 165.633 exemplos e 19 atributos: 
? user, gender, age, how tall in meters, weight, 
body mass index, x1, y1, z1,   , x4, y4, z4, class 
 O dataset foi dividido em conjunto de treinamento e 
teste, respeitando a proporc~ao dos valores do atributo 
class. 
Refer^encia: http://rpubs.com/fbarth/har01 
O que podemos fazer com os dados coletados? | Construc~ao do classi
cador 17
Alguns resultados da analise descritiva 
O que podemos fazer com os dados coletados? | Alguns resultados da analise descritiva 18
O que podemos fazer com os dados coletados? | Alguns resultados da analise descritiva 19
Algoritmo utilizado para criac~ao do 
modelo: Random Forest 
O que podemos fazer com os dados coletados? | Algoritmo utilizado para criac~ao do modelo: Random Forest 20
Criando o modelo... 
O que podemos fazer com os dados coletados? | Criando o modelo... 21
O que podemos fazer com os dados coletados? | Criando o modelo... 22
O que podemos fazer com os dados coletados? | Criando o modelo... 23
O que podemos fazer com os dados coletados? | Criando o modelo... 24
Outro modelo 
Modelo que utiliza apenas dados do aceler^ometro localizado na 
cintura (Erro estimado: 17.12%) 
O que podemos fazer com os dados coletados? | Outro modelo 25
Validando o modelo completo com o 
conjunto de testes 
O que podemos fazer com os dados coletados? | Validando o modelo completo com o conjunto de testes 26
Resultados do trabalho original [2] 
O que podemos fazer com os dados coletados? | Resultados do trabalho original [2] 27
Dado o mesmo dataset, sera que e 
possvel determinar quem esta realizando 
a atividade? 
http://fbarth.net.br/humanActivityRecognition/scripts/har case01 user.html 
O que podemos fazer com os dados coletados? | Dado o mesmo dataset, sera que e possvel determinar quem esta 
realizando a atividade? 
28
Segundo exemplo de aplicac~ao [1] 
Os experimentos foram realizados com um grupo de 30 
voluntarios entre 19-48 anos. Cada pessoa executou seis 
atividades: 
 Walking: andando 
 Walking Upstairs: andando escada acima 
 Walking Downstairs: andando escada abaixo 
 Sitting: sentado 
 Standing: em pe 
 Laying: deitado 
usando um smartphone (Samsung Galaxy II) na cintura. 
O que podemos fazer com os dados coletados? | Segundo exemplo de aplicac~ao [1] 29
Com base nos sensores do smartphone, acelerom^etro e 
giroscopio, foram capturados a acelerac~ao linear nos tr^es eixos e 
a velocidade angular nos tr^es eixos. 
O que podemos fazer com os dados coletados? | Segundo exemplo de aplicac~ao [1] 30
Adquirindo os dados 
http://rpubs.com/fbarth/har02 
O que podemos fazer com os dados coletados? | Adquirindo os dados 31
Separando os dados 
O que podemos fazer com os dados coletados? | Separando os dados 32
Construindo o modelo 
O que podemos fazer com os dados coletados? | Construindo o modelo 33
Construindo o modelo 
O que podemos fazer com os dados coletados? | Construindo o modelo 34
Validando o modelo 
O que podemos fazer com os dados coletados? | Validando o modelo 35
Comparando com o artigo original [1] 
O que podemos fazer com os dados coletados? | Comparando com o artigo original [1] 36
Kaggle: Accelerometer 
Biometric Competition 
37
Kaggle: Accelerometer Biometric Competition | 38
Kaggle: Accelerometer Biometric Competition | 39

Human Activity Recognition

  • 1.
    Coisas estranhas quepodemos fazer com dados coletados em dispositivos moveis: bye-bye privacidade! Human Activity Recognition Fabrcio J. Barth fabricio.barth@gmail.com Faculdade BandTec e Watson Group IBM Novembro de 2014
  • 2.
    Exemplos de dispositivos e dados que podem ser coletados 2
  • 3.
    Celulares Exemplos dedispositivos e dados que podem ser coletados | Celulares 3
  • 4.
    Coleta informac~oes sobre: Localizac~ao (latitude e longitude); Movimentac~ao (aceler^ometro, giroscopio); Ambiente (audio, proximidade, luminosidade); Social (historico de ligac~oes, contatos). Exemplos de dispositivos e dados que podem ser coletados | Celulares 4
  • 5.
    Relogios Exemplos dedispositivos e dados que podem ser coletados | Relogios 5
  • 6.
    Coleta informac~oes sobre: Frequ^encia cardaca; Press~ao arterial. Exemplos de dispositivos e dados que podem ser coletados | Relogios 6
  • 7.
    Outras aplicac~oes (talvezmenos uteis) Exemplos de dispositivos e dados que podem ser coletados | Outras aplicac~oes (talvez menos uteis) 7
  • 8.
    Monitora atividades fsicas Exemplos de dispositivos e dados que podem ser coletados | Monitora atividades fsicas 8
  • 9.
    Monitora: Queatividade esta sendo realizada; Qual a durac~ao; Qual a frequ^encia. Exemplos de dispositivos e dados que podem ser coletados | Monitora atividades fsicas 9
  • 10.
    Disney Exemplos dedispositivos e dados que podem ser coletados | Disney 10
  • 11.
    Monitora: Quandoentrou e saiu do parque; Por onde andou; O que e quando comprou; Em quais parques foi e quando foi. Exemplos de dispositivos e dados que podem ser coletados | Disney 11
  • 12.
    O que podemosfazer com os dados coletados? 12
  • 13.
    Primeiro exemplo deaplicac~ao [2] O que podemos fazer com os dados coletados? | Primeiro exemplo de aplicac~ao [2] 13
  • 14.
    O objetivo desteexemplo e construir um classi
  • 15.
    cador capaz dedizer que atividade (sitting, sitting down, standing, standing up, walking) uma pessoa esta realizando a partir de dados coletados de aceler^ometros presentes no corpo desta pessoa. O que podemos fazer com os dados coletados? | Primeiro exemplo de aplicac~ao [2] 14
  • 16.
    Pipeline do processopara reconhecimento de atividades [1] O que podemos fazer com os dados coletados? | Pipeline do processo para reconhecimento de atividades [1] 15
  • 17.
  • 18.
    ltrados Dadoscoletados a partir de 4 tri-axial aceler^ometros. Foram consideradas janelas de tempo de 1 segundo, com overlapping de 150ms. Medidas de roll, pitch e modulo de acelerac~ao foram adquiridas. A amostra dentro da janela de tempo foi agrupada e atributos foram gerados (i.e., vari^ancia, media). Foram
  • 19.
  • 20.
    nais - tr^espara cada aceler^ometro. O que podemos fazer com os dados coletados? | Dados coletados e
  • 21.
  • 22.
  • 23.
    cador Odataset possui 165.633 exemplos e 19 atributos: ? user, gender, age, how tall in meters, weight, body mass index, x1, y1, z1, , x4, y4, z4, class O dataset foi dividido em conjunto de treinamento e teste, respeitando a proporc~ao dos valores do atributo class. Refer^encia: http://rpubs.com/fbarth/har01 O que podemos fazer com os dados coletados? | Construc~ao do classi
  • 24.
  • 25.
    Alguns resultados daanalise descritiva O que podemos fazer com os dados coletados? | Alguns resultados da analise descritiva 18
  • 26.
    O que podemosfazer com os dados coletados? | Alguns resultados da analise descritiva 19
  • 27.
    Algoritmo utilizado paracriac~ao do modelo: Random Forest O que podemos fazer com os dados coletados? | Algoritmo utilizado para criac~ao do modelo: Random Forest 20
  • 28.
    Criando o modelo... O que podemos fazer com os dados coletados? | Criando o modelo... 21
  • 29.
    O que podemosfazer com os dados coletados? | Criando o modelo... 22
  • 30.
    O que podemosfazer com os dados coletados? | Criando o modelo... 23
  • 31.
    O que podemosfazer com os dados coletados? | Criando o modelo... 24
  • 32.
    Outro modelo Modeloque utiliza apenas dados do aceler^ometro localizado na cintura (Erro estimado: 17.12%) O que podemos fazer com os dados coletados? | Outro modelo 25
  • 33.
    Validando o modelocompleto com o conjunto de testes O que podemos fazer com os dados coletados? | Validando o modelo completo com o conjunto de testes 26
  • 34.
    Resultados do trabalhooriginal [2] O que podemos fazer com os dados coletados? | Resultados do trabalho original [2] 27
  • 35.
    Dado o mesmodataset, sera que e possvel determinar quem esta realizando a atividade? http://fbarth.net.br/humanActivityRecognition/scripts/har case01 user.html O que podemos fazer com os dados coletados? | Dado o mesmo dataset, sera que e possvel determinar quem esta realizando a atividade? 28
  • 36.
    Segundo exemplo deaplicac~ao [1] Os experimentos foram realizados com um grupo de 30 voluntarios entre 19-48 anos. Cada pessoa executou seis atividades: Walking: andando Walking Upstairs: andando escada acima Walking Downstairs: andando escada abaixo Sitting: sentado Standing: em pe Laying: deitado usando um smartphone (Samsung Galaxy II) na cintura. O que podemos fazer com os dados coletados? | Segundo exemplo de aplicac~ao [1] 29
  • 37.
    Com base nossensores do smartphone, acelerom^etro e giroscopio, foram capturados a acelerac~ao linear nos tr^es eixos e a velocidade angular nos tr^es eixos. O que podemos fazer com os dados coletados? | Segundo exemplo de aplicac~ao [1] 30
  • 38.
    Adquirindo os dados http://rpubs.com/fbarth/har02 O que podemos fazer com os dados coletados? | Adquirindo os dados 31
  • 39.
    Separando os dados O que podemos fazer com os dados coletados? | Separando os dados 32
  • 40.
    Construindo o modelo O que podemos fazer com os dados coletados? | Construindo o modelo 33
  • 41.
    Construindo o modelo O que podemos fazer com os dados coletados? | Construindo o modelo 34
  • 42.
    Validando o modelo O que podemos fazer com os dados coletados? | Validando o modelo 35
  • 43.
    Comparando com oartigo original [1] O que podemos fazer com os dados coletados? | Comparando com o artigo original [1] 36
  • 44.
  • 45.
  • 46.