SlideShare uma empresa Scribd logo
1 de 55
Baixar para ler offline
Construindo a Internet das Coisas

             Thiago Teixeira

    Grupo ARLES, INRIA Paris-Rocquencourt


           22 de Agosto de 2011
Mini Biografia


      Brazil USA                             from here on, all degrees are in Electrical Engineering   France

            Johns Hopkins University                         Yale University                           INRIA
                                                                                                       Post. Doc.
                                                             M.S.              Ph.D.                                other
            B.S. in Electrical Engineering   M.S.E.          M.Phil.                                                doctorate
            B.A. in Mathematics                                                                                     masters
                                                                                                                    bachelors
                                                                                                                    time
         1999                            2003             2005            2007                     2010




      • Johns Hopkins: Gradua¸˜o, Mestrado (1999–2005)
                               ca
          • Sensory Comm. & Microsystems Lab
          • Orientador: Andreas Andreou
          • Tese: “Address-Event Imaging Algorithms and their TinyOS
            implementation for Wireless Sensor Networks”



Thiago Teixeira                                                                                                             1 / 29
Mini Biografia


      Brazil USA                             from here on, all degrees are in Electrical Engineering   France

            Johns Hopkins University                         Yale University                           INRIA
                                                                                                       Post. Doc.
                                                             M.S.              Ph.D.                                other
            B.S. in Electrical Engineering   M.S.E.          M.Phil.                                                doctorate
            B.A. in Mathematics                                                                                     masters
                                                                                                                    bachelors
                                                                                                                    time
         1999                            2003             2005            2007                     2010




      • Yale: Mestrado, Doutorado (2005–2010)
          • Embedded Networks & Applications Lab (ENALAB)
          • Orientador: Andreas Savvides
          • Disserta¸˜o: “A Sensor-Fusion System to Detect, Track, and Identify
                     ca
             People in Realistic Scenarios”



Thiago Teixeira                                                                                                             1 / 29
Mini Biografia


      Brazil USA                             from here on, all degrees are in Electrical Engineering   France

            Johns Hopkins University                         Yale University                           INRIA
                                                                                                       Post. Doc.
                                                             M.S.              Ph.D.                                other
            B.S. in Electrical Engineering   M.S.E.          M.Phil.                                                doctorate
            B.A. in Mathematics                                                                                     masters
                                                                                                                    bachelors
                                                                                                                    time
         1999                            2003             2005            2007                     2010




      • INRIA Paris-Rocquencourt: P´s-doutorado (2010–presente)
                                        o
          • Architecture Logicielles et Syst`mes Distribu´s (ARLES)
                                            e            e
          • Pesquisadora chefe: Val´rie Issarny
                                     e
          • Foco: Um middleware para fus˜o autom´tica de sensores na Internet
                                            a       a
            das Coisas



Thiago Teixeira                                                                                                             1 / 29
´
                                 Area de Pesquisa
      • Antes: Sistemas embarcados e sensores para ambientes inteligentes
      • Agora: Middleware (para a IoT)

      • Informa¸˜es do mundo f´
               co             ısico ser˜o centrais aos sistemas de
                                       a
         computadores futuros
         (Hoje: servi¸os baseados em localiza¸˜o, redes sociais, geotagging, ...)
                     c                       ca

      • Ambientes Inteligentes: Ambientes que n˜o s´ recebem comandos das
                                               a o
         pessoas, mas tamb´m reagem e colaboram com elas
                          e
      • Aplica¸˜es:
              co
          • Tratamentos em casa
          • Assistˆncia ` autonomia
                  e     a
          • Sa´de preventiva
               u
          • Seguran¸a no trabalho
                    c
          • Entretenimento
          • etc.

Thiago Teixeira                                                                     2 / 29
´
                                     Indice


  Essa palestra se divide em duas partes:

      • Uma Rede de Sensores Sem-Fio para Ambientes Inteligentes
          • Desafios que envolvem o uso de sensores em ambientes reais



      • A Internet das Coisas (Internet of Things, ou IoT)
          • Quais s˜o os novos desafios da IoT?
                   a
          • Esbo¸o de uma solu¸˜o: um Middleware para a IoT
                 c             ca




Thiago Teixeira                                                         3 / 29
Requisito para Ambientes Inteligentes: Sensoriamento de
                         Humanos
      • O que ´ Sensoriamento de Humanos?
              e
      • Fazer uso de propriedades f´
                                   ısicas...

                                             emissivity
                  internal motion
                                                       scent
                                                                                                       borrowed
                                                                                voice                  properties

                                                                                  external
                  reflectivity            shape                     gait           motion
                                                                                sound
                                                                                         environm.
                                                                                         properties
                                         attenuation


                                                                   vibration
                                weight

                          Static Traits                        Dynamic Traits                Extrinsic Traits

                                              Intrinsic Traits




Thiago Teixeira                                                                                                     4 / 29
Contact Sensors            Chemosensors   Doppler-Shift Sens.Cameras           Inertial Sensors   Motion Sensors
                  Pressure Sensors                                       Wearable Inertial Sens. Seismic Sensors    Pressure Sensors
                                                                          Doppler-Shift Sensors Acoustic Sensors Wearable Inertial Sens.
                                                                                                                        Cameras
                   Photodetectors  Breakbeam Sensors Thermal Imagers                                                Thermal Imagers
                     Cameras      Tomographic Sensors                                                               Ranging Sensors
                  Ranging Sensors     EF Sensors                                                                  Tomographic Sensors
                                                                                                                  Doppler-Shift Sensors
                                                              Wearable RFID          Wearable Doppler-Shift Sens.
                                                         Wearable Ranging Sensors
                                                         Wearable Landmark Sensors
   Requisito para Ambientes Inteligentes: Sensoriamento de
                         Humanos
      • O que ´ Sensoriamento de Humanos?
              e
      • Fazer uso de propriedades f´ ısicas...
      • ...para, atrav´s de sensores,...
                      e
                                                                         Intrinsic Traits


                                       Static Traits                                           Dynamic Traits



                     Weight          Shape     Scent        Internal Motion             Gait        Vibration       External Motion




                   Reflectivity       Attenuation      Emissivity


                                                                          Extrinsic Traits


                                                               Static Traits               Dynamic Traits




Thiago Teixeira                                                                                                                            4 / 29
Requisito para Ambientes Inteligentes: Sensoriamento de
                         Humanos
      • O que ´ Sensoriamento de Humanos?
              e
      • Fazer uso de propriedades f´ ısicas...
      • ...para, atrav´s de sensores,...
                      e
      • ...detectar parˆmetros fundamentais
                        a
                                               Observable Properties



                  Spatio-Temporal Properties   Behavioral Properties        Physiological Properties

                           Identity                Group Behavior                     Blood Pressure
                                                                                    Temperature
                             Track                    Behavior
                                                                                  Weight    Skin color
                           Location                   Activity                      Heart rate
                                                                                             etc...
                            Count                      Action

                           Presence                     Pose



                  Unobservable Properties

                                        Thoughts   Intentions    Ideas   etc...




Thiago Teixeira                                                                                          4 / 29
O que se pode fazer com esses parˆmetros?
                                                   a
      • Exemplo: Posi¸˜o de um paciente dentro de casa1
                     ca




     1
       Lymberopoulos, Teixeira, Savvides. “Detecting patterns for assisted living: A case study.”, SensorComm
  2007
Thiago Teixeira                                                                                           5 / 29
O que se pode fazer com esses parˆmetros?
                                                   a
      • Exemplo: Posi¸˜o de um paciente dentro de casa1
                     ca
      • ...de manh˜
                  a

                                                                                                           Morning Routine


                                                 front bedroom
                                                 back bedroom
                                                  bath upstairs                                                                                        Leaving house
                                                       stairs top
                                                                                                      Waking up, using
                                                  stairs bottom                                       bathroom, going
                                                      front door                                         downstairs
                                                         couch 3
                                                         couch 2              Preparing and eating breakfast
                                                      basement
                                               bath downstairs
                                                  kitchen table
                                                      back door
                                                           stove
                                                             sink
                                                          fridge



                                                                             20               4   0                 00           :2
                                                                                                                                    0             40                  :0
                                                                                                                                                                         0             2   0
                                                                           3:              1:                     0:         8                 6:                35                 3:
                                                                      :5              :0                       :1          :1             :2                 :                 :4
                                                                    06              07                    07             07             07                07                 07




     1
       Lymberopoulos, Teixeira, Savvides. “Detecting patterns for assisted living: A case study.”, SensorComm
  2007
Thiago Teixeira                                                                                                                                                                                5 / 29
O que se pode fazer com esses parˆmetros?
                                                   a
      • Exemplo: Posi¸˜o de um paciente dentro de casa1
                      ca
      • ...ou no fim-de-semana




     1
       Lymberopoulos, Teixeira, Savvides. “Detecting patterns for assisted living: A case study.”, SensorComm
  2007
Thiago Teixeira                                                                                           5 / 29
O que se pode fazer com esses parˆmetros?
                                                   a
      • Exemplo: Posi¸˜o de um paciente dentro de casa1
                       ca
      • ...ou v´rias semanas
               a




      • Podemos descobrir se o paciente reagiu positivamente a um novo
         medicamento?
     1
       Lymberopoulos, Teixeira, Savvides. “Detecting patterns for assisted living: A case study.”, SensorComm
  2007
Thiago Teixeira                                                                                           5 / 29
Desafios do Sensoriamento de Humanos


      • Desafios fundamentais
          • Ru´
              ıdo
          • Varia¸˜es ambientais
                 co
          • Similaridade com o sinal de fundo
          • Variabilidade na aparˆncia
                                  e
          • Imprevisibilidade de comportamento
          • Similaridade entre pessoas


      • Desafios pr´ticos
                   a
          • Privacidade: sensores extraem informa¸˜es em excesso
                                                 co
          • Em geral, toda modalidade de sensor por si s´ ´ insuficiente
                                                        oe




Thiago Teixeira                                                           6 / 29
Compara¸˜o entre Modalidades de Sensores
                         ca




           ´
         ⇒ E necess´rio fazer a fus˜o de diversos sensores
                   a               a
Thiago Teixeira                                              7 / 29
Disserta¸˜o: Extra¸˜o das 5 Propriedades
                          ca        ca
                             Espa¸o-Temporais
                                  c
                       ground truth


                                      presence   count   location   track        identity


                                      TRUE        3

                                                                            information



  Contribui¸˜es:
           co
   1. M´todo para Detectar, Contar, e Localizar pessoas sem uso de “fotos”
         e
    2. Fus˜o de Sensores para Rastrear e Identificar pessoas
          a




Thiago Teixeira                                                                             8 / 29
Solu¸˜o, parte 1: Detec¸˜o, Contagem, Localiza¸˜o
              ca                  ca                    ca
                       atrav´s de Cˆmeras Cegas
                            e      a


                                                                               y                    detected
                                                                                                    person

                                                                                                x
                                                                                                    local
                                                                                                    maximum

      • Cˆmeras bio-mim´ticas, incapazes de tirar fotos2
         a                 e
           • Cada pixel ´ um detector de padr˜es
                        e                      o                                                    likelihood
                                                                                                    histogram
           • Cada pixel pulsa ao detectar movimento
           • Sem imagens a qualquer n´ ıvel (cˆmeras cegas)
                                              a                                                     location
                                                                                                    likelihood
      • Estimador de m´xima verossimilhan¸a
                         a                      c                                                   mapping

        ⇒ Coordenadas de cada pessoa
      • Leve, e de f´cil uso
                    a                                                                (etc...)
                                                                                                    pixels



     2
         Teixeira et al., “Address-event imagers for sensor networks: Evaluation and modeling”, IEEE/ACM IPSN
 2006
Thiago Teixeira                                                                                              9 / 29
Solu¸˜o, parte 2: Rastreamento e Identifica¸˜o atrav´s da
      ca                                    ca       e
                                      3
                     Fus˜o de Sensores
                         a
      • Cˆmeras: detectar, contar e localizar anonimamente
         a
      • Telefones: rastrear e identificar pessoas

                                                  coverage gap
                                                                      wireless
                                                                    access point


                           existing
                           cameras




                                                                  mobile phones

     3
       Teixeira et al. “Tasking Networked CCTV Cameras and Mobile Phones to Identify and Localize Multiple
  People”, ACM UbiComp 2010
Thiago Teixeira                                                                                       10 / 29
Solu¸˜o, parte 2: Rastreamento e Identifica¸˜o atrav´s da
      ca                                    ca       e
                                      3
                     Fus˜o de Sensores
                         a
      • Cˆmeras: detectar, contar e localizar anonimamente
         a
      • Telefones: rastrear e identificar pessoas

                                   time k-2      time k-1       time k




                                    motion        motion        motion

                                   location      location      location


     3
       Teixeira et al. “Tasking Networked CCTV Cameras and Mobile Phones to Identify and Localize Multiple
  People”, ACM UbiComp 2010
Thiago Teixeira                                                                                       10 / 29
Fus˜o usando HMM, Identifica¸˜o usando AGB
                a                       ca
                        John        Paul       George

                         xk
                          1          xk
                                      2          xk
                                                  3

   hidden state
    observations
                              ?        ?
    location
    detections
    from infrastructure    yk
                            3         yk
                                       1           yk
                                                    2
    sensors
                  correspondence between x's and y's unknown




Thiago Teixeira                                                11 / 29
Fus˜o usando HMM, Identifica¸˜o usando AGB
                a                       ca
                        John        Paul       George          John            Paul           George

                         xk
                          1          xk
                                      2          xk
                                                  3             xk
                                                                 1              xk
                                                                                 2               xk
                                                                                                  3

   hidden state
    observations                                                                                           inertial
                                                                      zk
                                                                       1              zk
                                                                                       2              zk
                                                                                                       3

                              ?        ?                                                                   measurements
                                                                                                           from wearable
    location                                                                                               sensors
    detections                                                  yk
                                                                 1              yk
                                                                                 2               yk
                                                                                                  3
    from infrastructure    yk
                            3         yk
                                       1           yk
                                                    2
    sensors                                                     recover identity associations using
                  correspondence between x's and y's unknown      the z's from wearable sensors




Thiago Teixeira                                                                                                      11 / 29
Fus˜o usando HMM, Identifica¸˜o usando AGB
                a                       ca
                        John        Paul       George          John            Paul           George

                         xk
                          1          xk
                                      2          xk
                                                  3             xk
                                                                 1              xk
                                                                                 2               xk
                                                                                                  3

   hidden state
    observations                                                                                           inertial
                                                                      zk
                                                                       1              zk
                                                                                       2              zk
                                                                                                       3

                              ?        ?                                                                   measurements
                                                                                                           from wearable
    location                                                                                               sensors
    detections                                                  yk
                                                                 1              yk
                                                                                 2               yk
                                                                                                  3
    from infrastructure    yk
                            3         yk
                                       1           yk
                                                    2
    sensors                                                     recover identity associations using
                  correspondence between x's and y's unknown      the z's from wearable sensors



    • O problema se reduz a um                                 zk
                                                                1             yk
                                                                               1

        Acoplamento de Grafos
        Bipartidos (AGB)                                       zk
                                                                2             yk
                                                                               2




                                                               zk
                                                                3             yk
                                                                               3




                                                                bipartite graph
                                                               matching recovers
                                                                 associations

Thiago Teixeira                                                                                                      11 / 29
Fus˜o usando HMM, Identifica¸˜o usando AGB
                a                       ca
                        John        Paul       George          John        Paul        George
                         xk
                          1          xk
                                      2          xk
                                                  3                                                               z k-2
                                                                                                                    3
                                                               xk-2
                                                                1          xx
                                                                            2
                                                                            k-2         xk-2
                                                                                         3
   hidden state                                                                                          yk-2
                                                                                                          2

    observations
                                                                                                                  z k-1
                                                                                                                    3
                              ?        ?                       xk-1
                                                                1          xx
                                                                            2
                                                                            k-1         xk-1
                                                                                         3
                                                                                                         yk-1
                                                                                                          1
    location
    detections
    from infrastructure    yk
                            3         yk
                                       1           yk
                                                    2
                                                                                                    Each person
    sensors                                                     xk
                                                                 1          xk
                                                                             2           xk
                                                                                          3
                                                                                                    corresponds to
                  correspondence between x's and y's unknown                                        a HMM

                                                                      zk
                                                                       1          zk
                                                                                   2           zk
                                                                                                3


    • O problema se reduz a um
        Acoplamento de Grafos                                   yk
                                                                 1          yk
                                                                             2           yk
                                                                                          3


        Bipartidos (AGB)
      • Para os pesos, usar Modelo Oculto de Markov (MOM)
          • Peso = verossimilhan¸a de que y and z originaram do mesmo x
                                c



Thiago Teixeira                                                                                                 11 / 29
O que isto quer dizer, matematicamente?
      • Agrupar detec¸˜es em hip´teses de rastros:
                     co         o
                                   h     j     j             j
                                  θk = {y11 , y22 , · · · , ykk }

      • Calcular verossimilhan¸a de cada hip´tese (usando MOM):
                              c             o
                                      j
   L(θk , z1:k ) = max P (xi |xi )P (ykk |xi )P (zk |xi )P (xi
      h i
                           k k−1           k
                                                  i
                                                      k
                                                                      h      i
                                                             1:k−1 , θk−1 , w1:k−1 )
                     xi
                      k


      • Finalmente, identificar a melhor combina¸˜o de hip´teses (usando
                                               ca        o
         AGB):
                             1 1           2 1                  h 1
                                                                          
                          L(θk , zk ) L(θk , zk ) · · ·      L(θk , zk )
                            1 2           2 2
                          L(θk , zk ) L(θk , zk ) · · ·         h 2
                                                             L(θk , zk )   
                                                                          
                             .
                              .            .
                                           .         ..          .
                                                                 .         
                             .            .             .       .         
                             1 , z i ) L(θ 2 , z i ) · · ·
                          L(θk k                                h i
                                                             L(θk , zk )
                                          k k

Thiago Teixeira                                                                  12 / 29
Resultados
      • Exemplo de simula¸˜o, com 3 pessoas em uma ´rea de 10m × 10m:
                         ca                        a
                                                                                                                                             stopping
                                                                stopping                                                                     resolved

                                 50                proximity                                                  50                 ambiguities
                                                  ambiguities                                                                     resolved
                                 40                                                                           40
                      time (s)




                                                                                                   time (s)
                                 30                                                                           30

                                 20                                                                           20
                                                                                                                     initially
                                 10                                                          10               10    incorrect                               10
                                                                                                                      output
                                                                                                                    resolved
                                                                           5                                                                            5
                                  0      2                                                                     0      2
                                               4     6                                                                      4     6
                                                          8        0                                                                   8        0
                                      simulation area in meters 10                                                 simulation area in meters 10


                                                                                                                                         Identification Accuracy
      • Multiple-Object Tracking
                                                                                              1
         Accuracy (MOTA):
                                                                           accuracy (MOTA)



                                                                                             0.9
              •   Simula¸˜es (2–10
                        co
                                                                                             0.8
                  pessoas)                                                                                                                 simulation of ideal sensors (mean)
                                                                                             0.7
              •   Experimentos (2–4                                                                                                        simulation of non-ideal sensors (mean)
                                                                                             0.6                                           simulation of motion camera (mean)
                  pessoas, 4 cameras)                                                                                                      experiment with motion camera (mean)
                                                                                             0.5
                                                                                                   0                    2            4            6            8     10        12
                                                                                                                                         mean track length (s)

Thiago Teixeira                                                                                                                                                               13 / 29
Ferramentas
      • BehaviorScope Control Center / PySOS:




Thiago Teixeira                                 14 / 29
Ferramentas
      • BehaviorScope Control Center / PySOS:




Thiago Teixeira                                 14 / 29
Portal
      • BehaviorScope Web Portal:




Thiago Teixeira                              15 / 29
Portal
      • BehaviorScope Web Portal:




Thiago Teixeira                              15 / 29
E, agora sim, chegamos ` Internet das Coisas
                                         a




Thiago Teixeira                                                  16 / 29
E, agora sim, chegamos ` Internet das Coisas
                                         a



      • O que s˜o coisas? S˜o ao mesmo tempo:
               a             a
          • Objetos (do mundo real) com sensores e atuadores
          • Servi¸os de software que extraem/inserem informa¸˜es no mundo real
                 c                                          co

      • Podem ser acessadas como servi¸os quaisquer
                                      c




Thiago Teixeira                                                             16 / 29
E, agora sim, chegamos ` Internet das Coisas
                                         a



      • O que s˜o coisas? S˜o ao mesmo tempo:
               a             a
          • Objetos (do mundo real) com sensores e atuadores
          • Servi¸os de software que extraem/inserem informa¸˜es no mundo real
                 c                                          co

      • Podem ser acessadas como servi¸os quaisquer
                                      c

      • Ent˜o o que muda?
           a




Thiago Teixeira                                                             16 / 29
Prova no. 1: Informa¸˜es de/para Humanos
                                      co
      • Considere a p´gina mais editada da Wikip´dia45 :
                     a                          e




      • Editada 44320 vezes ≈ 12.8 edi¸˜es por dia
                                      co
      • P´gina m´dia na Wikip´dia: 19.21 edi¸˜es no total
         a      e            e              co
      • S´ a ultima vers˜o ´ acessada → S´ um “ponto” da s´rie ´ essencial
         o ´            a e              o                e e
     4
         http://en.wikipedia.org/wiki/Wikipedia:Database_reports/Pages_with_the_most_revisions
     5
         Fonte, WikiDashboard: http://wikidashboard.appspot.com
Thiago Teixeira                                                                              17 / 29
Prova no. 2: Informa¸˜es do Mundo F´
                                      co             ısico
      • Compare com a posi¸˜o de uma pessoa em casa durante 30 dias:
                          ca




      • Dados acima s˜o de 6 sensores somente!
                     a
      • E ainda assim, s˜o 41700 pontos por dia!
                        a
      • A informa¸˜o relevante se extende pelo tempo e pelo espa¸o!
                 ca                                             c
Thiago Teixeira                                                        18 / 29
Desafios da Internet das Coisas6


      • Escala Massiva — bilh˜es de coisas, dados em m´ltiplas dimens˜es
                             o                        u              o
      • Profunda Heterogeneidade
           — modelos diferentes, variabilidade de materiais, etc.
      • Topologia desconhecida
      • Disponibilidade desconhecida de dados
      • Metadados incompletos ou errˆneos
                                    o
      • Conflitos multi-agente




     6
         Teixeira et al., “Service Oriented Middleware for the Internet of Things”, ServiceWave 2011
Thiago Teixeira                                                                                        19 / 29
Desafios da Internet das Coisas6


      • Escala Massiva — bilh˜es de coisas, dados em m´ltiplas dimens˜es
                             o                        u              o
      • Profunda Heterogeneidade
           — modelos diferentes, variabilidade de materiais, etc.
      • Topologia desconhecida
      • Disponibilidade desconhecida de dados
      • Metadados incompletos ou errˆneos
                                    o
      • Conflitos multi-agente

      • Estes desafios j´ se revelam hoje — por´m em escalas muito menores!
                       a                      e



     6
         Teixeira et al., “Service Oriented Middleware for the Internet of Things”, ServiceWave 2011
Thiago Teixeira                                                                                        19 / 29
Salvos pela F´
                                          ısica!

      • A IoT ´ f´
              e ısica, e propriedades do mundo real s˜o altamente
                                                     a
         correlacionadas, em grande parte cont´
                                              ınuas no espa¸o/tempo, e
                                                           c
         muitas vezes previs´
                            ıveis

      • Armas em nosso arsenal:
          • Aproxima¸˜es, estima¸˜es
                    co           co
          • Modelos probabil´
                            ısticos
          • Composi¸˜es
                   co
     ⇒ Ou seja, tudo o que j´ ´ feito hoje por experts
                            ae
      • Mas ` medida que a rede cresce, ser´ imposs´ contar com a
            a                              a       ıvel
         interferˆncia manual de experts!
                 e

      • Faltam ferramentas automatizadas para lidar com dimen¸˜es
                                                             co
         espa¸o-temporais
             c

Thiago Teixeira                                                          20 / 29
Proposta: um Middleware para a IoT7
                                                                            COMPOSITION & ESTIMATION KNOWLEDGE BASE


                                                                      request                        domain ontology
                                     application                                    expansion
                                                                       result                       estimation ontology


                      sensor
                                                               DISCOVERY            mapping           device ontology
                                     actuator


           actuator
                                 INTERNET
                                                                                   optimization
                                                   processor

                                  sensor

                processor
                                                                                    execution

                                      sensor


                                                                                 IoT MIDDLEWARE




      • Trˆs blocos principais
          e
          1. Descoberta
          2. Composi¸˜o e Estima¸˜o
                     ca         ca
          3. Base de Conhecimento (ontologias)
     7
         Teixeira et al., “Service Oriented Middleware for the Internet of Things”, ServiceWave 2011
Thiago Teixeira                                                                                                    21 / 29
Proposta: um Middleware para a IoT7
                                                                            COMPOSITION & ESTIMATION KNOWLEDGE BASE


                                                                      request                        domain ontology
                                     application                                    expansion
                                                                       result                       estimation ontology


                      sensor
                                                               DISCOVERY            mapping           device ontology
                                     actuator


           actuator
                                 INTERNET
                                                                                   optimization
                                                   processor

                                  sensor

                processor
                                                                                    execution

                                      sensor


                                                                                 IoT MIDDLEWARE




      • Trˆs id´ias principais
          e e
          1. Descoberta probabil´ıstica
          2. Composi¸˜o aproximada
                      ca
          3. Estima¸˜o autom´tica
                    ca         a
     7
         Teixeira et al., “Service Oriented Middleware for the Internet of Things”, ServiceWave 2011
Thiago Teixeira                                                                                                    21 / 29
A Base de Conhecimentos
      • Composta de trˆs ontologias:
                       e
          • Ontologia do Dom´ ınio
            Descreve conceitos f´
                                ısicos
          • Ontologia de Dispositivos
            Descreve sensores e atuadores
          • Ontologia de Estima¸˜o
                                ca
            Descreve modelos probabil´ ısticos, etc.




Thiago Teixeira                                        22 / 29
Composi¸˜o de Coisas
                         ca




Thiago Teixeira                          23 / 29
Composi¸˜o Aproximada de Coisas
                                     ca
      • Espa¸o do problema ´ grande demais
            c              e
         ⇒ Composi¸˜o otimizada e exata ´ impratic´vel
                  ca                    e         a
      • Solu¸˜o: Composi¸˜o aproximada
            ca            ca
          • Reduzir as respostas dos blocos de expans˜o e mapeamento
                                                     a

                                                                         COMPOSITION & ESTIMATION KNOWLEDGE BASE


                                                                   request                        domain ontology
                                  application                                    expansion
                                                                    result                       estimation ontology


                     sensor
                                                            DISCOVERY            mapping           device ontology
                                  actuator


          actuator
                              INTERNET
                                                                                optimization
                                                processor

                               sensor

               processor
                                                                                 execution

                                   sensor


                                                                              IoT MIDDLEWARE




Thiago Teixeira                                                                                                 24 / 29
Descoberta Probabil´
                                           ıstica
      • Como descobrir coisas dentre bilh˜es distribu´
                                         o           ıdas pelo mundo, com
         restri¸˜es de mem´ria, processamento, e tempo?
               co         o
      • Solu¸˜o: Incorporar aproxima¸˜es ao processo de descoberta
            ca                        co
          • Tanto no registro quanto na procura




Thiago Teixeira                                                         25 / 29
Descoberta Probabil´
                                           ıstica
      • Como descobrir coisas dentre bilh˜es distribu´
                                         o           ıdas pelo mundo, com
         restri¸˜es de mem´ria, processamento, e tempo?
               co         o
      • Solu¸˜o: Incorporar aproxima¸˜es ao processo de descoberta
            ca                        co
          • Tanto no registro quanto na procura

      • Exemplo de procura probabil´
                                   ıstica:




Thiago Teixeira                                                         25 / 29
Descoberta Probabil´
                                           ıstica
      • Como descobrir coisas dentre bilh˜es distribu´
                                         o           ıdas pelo mundo, com
         restri¸˜es de mem´ria, processamento, e tempo?
               co         o
      • Solu¸˜o: Incorporar aproxima¸˜es ao processo de descoberta
            ca                        co
          • Tanto no registro quanto na procura

      • Exemplo de procura probabil´
                                   ıstica:




Thiago Teixeira                                                         25 / 29
Descoberta Probabil´
                                           ıstica
      • Como descobrir coisas dentre bilh˜es distribu´
                                         o           ıdas pelo mundo, com
         restri¸˜es de mem´ria, processamento, e tempo?
               co         o
      • Solu¸˜o: Incorporar aproxima¸˜es ao processo de descoberta
            ca                        co
          • Tanto no registro quanto na procura

      • Exemplo de procura probabil´
                                   ıstica:




Thiago Teixeira                                                         25 / 29
Estimativa Autom´tica
                                            a
      • O que fazer quando o dado que se procura n˜o est´ dispon´ (ou
                                                  a     a       ıvel
         n˜o foi nem coletado)?
          a
      • Solu¸˜o: Estimar!
            ca




Thiago Teixeira                                                         26 / 29
Estimativa Autom´tica
                                            a
      • O que fazer quando o dado que se procura n˜o est´ dispon´ (ou
                                                  a     a       ıvel
         n˜o foi nem coletado)?
          a
      • Solu¸˜o: Estimar!
            ca

      • Exemplo de estimativa temporal:




Thiago Teixeira                                                         26 / 29
Estimativa Autom´tica
                                            a
      • O que fazer quando o dado que se procura n˜o est´ dispon´ (ou
                                                  a     a       ıvel
         n˜o foi nem coletado)?
          a
      • Solu¸˜o: Estimar!
            ca

      • Exemplo de estimativa temporal:




Thiago Teixeira                                                         26 / 29
Estimativa Autom´tica
                                            a
      • O que fazer quando o dado que se procura n˜o est´ dispon´ (ou
                                                  a     a       ıvel
         n˜o foi nem coletado)?
          a
      • Solu¸˜o: Estimar!
            ca

      • Exemplo de estimativa temporal:




Thiago Teixeira                                                         26 / 29
Estimativa Autom´tica
                                         a
      • O que fazer quando o dado que se procura n˜o est´ dispon´ (ou
                                                  a     a       ıvel
        n˜o foi nem coletado)?
         a
      • Solu¸˜o: Estimar!
            ca
      • Exemplo de estimativa espacial:




Thiago Teixeira                                                         26 / 29
Estimativa Autom´tica
                                         a
      • O que fazer quando o dado que se procura n˜o est´ dispon´ (ou
                                                  a     a       ıvel
        n˜o foi nem coletado)?
         a
      • Solu¸˜o: Estimar!
            ca
      • Exemplo de estimativa espacial:




Thiago Teixeira                                                         26 / 29
Alguns Pontos Importantes


      • As solu¸˜es propostas s´ funcionam porque as propriedades do mundo
               co              o
         real s˜o correlacionadas, cont´
               a                       ınuas, e previs´
                                                      ıveis

      • Servi¸os puramente em software s˜o apenas coisas simplificadas:
             c                          a
         Por isso s˜o suportados automaticamente pela middleware
                   a

      • Outros desafios mencionados (metadados incompletos ou errˆneos, e
                                                                o
         conflitos multi-agente) tamb´m podem ser solucionados usando
                                    e
         modelos matem´ticos
                         a
         Mas n´s deixamos este trabalho para o futuro
               o




Thiago Teixeira                                                          27 / 29
Concluindo



      • A Internet das Coisas requer novos modos de intera¸˜o
                                                          ca
      • Sem um middleware inteligente, somente experts poder˜o utilizar a
                                                            a
         IoT ao m´ximo
                 a

      • Boa not´
               ıcia:
          • A rob´tica, a teoria da estimativa, a aprendizagem de m´quina, etc.,
                 o                                                 a
            nos mostram o caminho
            ⇒ Agora s´ falta automatizar! :)
                      o




Thiago Teixeira                                                                28 / 29
Obrigado!




                      Perguntas?



                            s´
                             ıtio
                     http://thiagot.com




                          contato:
                  thiago.teixeira@inria.fr

Thiago Teixeira                              29 / 29

Mais conteúdo relacionado

Destaque

2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by HubspotMarius Sescu
 
Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTExpeed Software
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsPixeldarts
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthThinkNow
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfmarketingartwork
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024Neil Kimberley
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)contently
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024Albert Qian
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsKurio // The Social Media Age(ncy)
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Search Engine Journal
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summarySpeakerHub
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next Tessa Mero
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentLily Ray
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best PracticesVit Horky
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project managementMindGenius
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...RachelPearson36
 

Destaque (20)

2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot
 
Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPT
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage Engineerings
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental Health
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
 
Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
 

Internet of Things (IoT)

  • 1. Construindo a Internet das Coisas Thiago Teixeira Grupo ARLES, INRIA Paris-Rocquencourt 22 de Agosto de 2011
  • 2. Mini Biografia Brazil USA from here on, all degrees are in Electrical Engineering France Johns Hopkins University Yale University INRIA Post. Doc. M.S. Ph.D. other B.S. in Electrical Engineering M.S.E. M.Phil. doctorate B.A. in Mathematics masters bachelors time 1999 2003 2005 2007 2010 • Johns Hopkins: Gradua¸˜o, Mestrado (1999–2005) ca • Sensory Comm. & Microsystems Lab • Orientador: Andreas Andreou • Tese: “Address-Event Imaging Algorithms and their TinyOS implementation for Wireless Sensor Networks” Thiago Teixeira 1 / 29
  • 3. Mini Biografia Brazil USA from here on, all degrees are in Electrical Engineering France Johns Hopkins University Yale University INRIA Post. Doc. M.S. Ph.D. other B.S. in Electrical Engineering M.S.E. M.Phil. doctorate B.A. in Mathematics masters bachelors time 1999 2003 2005 2007 2010 • Yale: Mestrado, Doutorado (2005–2010) • Embedded Networks & Applications Lab (ENALAB) • Orientador: Andreas Savvides • Disserta¸˜o: “A Sensor-Fusion System to Detect, Track, and Identify ca People in Realistic Scenarios” Thiago Teixeira 1 / 29
  • 4. Mini Biografia Brazil USA from here on, all degrees are in Electrical Engineering France Johns Hopkins University Yale University INRIA Post. Doc. M.S. Ph.D. other B.S. in Electrical Engineering M.S.E. M.Phil. doctorate B.A. in Mathematics masters bachelors time 1999 2003 2005 2007 2010 • INRIA Paris-Rocquencourt: P´s-doutorado (2010–presente) o • Architecture Logicielles et Syst`mes Distribu´s (ARLES) e e • Pesquisadora chefe: Val´rie Issarny e • Foco: Um middleware para fus˜o autom´tica de sensores na Internet a a das Coisas Thiago Teixeira 1 / 29
  • 5. ´ Area de Pesquisa • Antes: Sistemas embarcados e sensores para ambientes inteligentes • Agora: Middleware (para a IoT) • Informa¸˜es do mundo f´ co ısico ser˜o centrais aos sistemas de a computadores futuros (Hoje: servi¸os baseados em localiza¸˜o, redes sociais, geotagging, ...) c ca • Ambientes Inteligentes: Ambientes que n˜o s´ recebem comandos das a o pessoas, mas tamb´m reagem e colaboram com elas e • Aplica¸˜es: co • Tratamentos em casa • Assistˆncia ` autonomia e a • Sa´de preventiva u • Seguran¸a no trabalho c • Entretenimento • etc. Thiago Teixeira 2 / 29
  • 6. ´ Indice Essa palestra se divide em duas partes: • Uma Rede de Sensores Sem-Fio para Ambientes Inteligentes • Desafios que envolvem o uso de sensores em ambientes reais • A Internet das Coisas (Internet of Things, ou IoT) • Quais s˜o os novos desafios da IoT? a • Esbo¸o de uma solu¸˜o: um Middleware para a IoT c ca Thiago Teixeira 3 / 29
  • 7. Requisito para Ambientes Inteligentes: Sensoriamento de Humanos • O que ´ Sensoriamento de Humanos? e • Fazer uso de propriedades f´ ısicas... emissivity internal motion scent borrowed voice properties external reflectivity shape gait motion sound environm. properties attenuation vibration weight Static Traits Dynamic Traits Extrinsic Traits Intrinsic Traits Thiago Teixeira 4 / 29
  • 8. Contact Sensors Chemosensors Doppler-Shift Sens.Cameras Inertial Sensors Motion Sensors Pressure Sensors Wearable Inertial Sens. Seismic Sensors Pressure Sensors Doppler-Shift Sensors Acoustic Sensors Wearable Inertial Sens. Cameras Photodetectors Breakbeam Sensors Thermal Imagers Thermal Imagers Cameras Tomographic Sensors Ranging Sensors Ranging Sensors EF Sensors Tomographic Sensors Doppler-Shift Sensors Wearable RFID Wearable Doppler-Shift Sens. Wearable Ranging Sensors Wearable Landmark Sensors Requisito para Ambientes Inteligentes: Sensoriamento de Humanos • O que ´ Sensoriamento de Humanos? e • Fazer uso de propriedades f´ ısicas... • ...para, atrav´s de sensores,... e Intrinsic Traits Static Traits Dynamic Traits Weight Shape Scent Internal Motion Gait Vibration External Motion Reflectivity Attenuation Emissivity Extrinsic Traits Static Traits Dynamic Traits Thiago Teixeira 4 / 29
  • 9. Requisito para Ambientes Inteligentes: Sensoriamento de Humanos • O que ´ Sensoriamento de Humanos? e • Fazer uso de propriedades f´ ısicas... • ...para, atrav´s de sensores,... e • ...detectar parˆmetros fundamentais a Observable Properties Spatio-Temporal Properties Behavioral Properties Physiological Properties Identity Group Behavior Blood Pressure Temperature Track Behavior Weight Skin color Location Activity Heart rate etc... Count Action Presence Pose Unobservable Properties Thoughts Intentions Ideas etc... Thiago Teixeira 4 / 29
  • 10. O que se pode fazer com esses parˆmetros? a • Exemplo: Posi¸˜o de um paciente dentro de casa1 ca 1 Lymberopoulos, Teixeira, Savvides. “Detecting patterns for assisted living: A case study.”, SensorComm 2007 Thiago Teixeira 5 / 29
  • 11. O que se pode fazer com esses parˆmetros? a • Exemplo: Posi¸˜o de um paciente dentro de casa1 ca • ...de manh˜ a Morning Routine front bedroom back bedroom bath upstairs Leaving house stairs top Waking up, using stairs bottom bathroom, going front door downstairs couch 3 couch 2 Preparing and eating breakfast basement bath downstairs kitchen table back door stove sink fridge 20 4 0 00 :2 0 40 :0 0 2 0 3: 1: 0: 8 6: 35 3: :5 :0 :1 :1 :2 : :4 06 07 07 07 07 07 07 1 Lymberopoulos, Teixeira, Savvides. “Detecting patterns for assisted living: A case study.”, SensorComm 2007 Thiago Teixeira 5 / 29
  • 12. O que se pode fazer com esses parˆmetros? a • Exemplo: Posi¸˜o de um paciente dentro de casa1 ca • ...ou no fim-de-semana 1 Lymberopoulos, Teixeira, Savvides. “Detecting patterns for assisted living: A case study.”, SensorComm 2007 Thiago Teixeira 5 / 29
  • 13. O que se pode fazer com esses parˆmetros? a • Exemplo: Posi¸˜o de um paciente dentro de casa1 ca • ...ou v´rias semanas a • Podemos descobrir se o paciente reagiu positivamente a um novo medicamento? 1 Lymberopoulos, Teixeira, Savvides. “Detecting patterns for assisted living: A case study.”, SensorComm 2007 Thiago Teixeira 5 / 29
  • 14. Desafios do Sensoriamento de Humanos • Desafios fundamentais • Ru´ ıdo • Varia¸˜es ambientais co • Similaridade com o sinal de fundo • Variabilidade na aparˆncia e • Imprevisibilidade de comportamento • Similaridade entre pessoas • Desafios pr´ticos a • Privacidade: sensores extraem informa¸˜es em excesso co • Em geral, toda modalidade de sensor por si s´ ´ insuficiente oe Thiago Teixeira 6 / 29
  • 15. Compara¸˜o entre Modalidades de Sensores ca ´ ⇒ E necess´rio fazer a fus˜o de diversos sensores a a Thiago Teixeira 7 / 29
  • 16. Disserta¸˜o: Extra¸˜o das 5 Propriedades ca ca Espa¸o-Temporais c ground truth presence count location track identity TRUE 3 information Contribui¸˜es: co 1. M´todo para Detectar, Contar, e Localizar pessoas sem uso de “fotos” e 2. Fus˜o de Sensores para Rastrear e Identificar pessoas a Thiago Teixeira 8 / 29
  • 17. Solu¸˜o, parte 1: Detec¸˜o, Contagem, Localiza¸˜o ca ca ca atrav´s de Cˆmeras Cegas e a y detected person x local maximum • Cˆmeras bio-mim´ticas, incapazes de tirar fotos2 a e • Cada pixel ´ um detector de padr˜es e o likelihood histogram • Cada pixel pulsa ao detectar movimento • Sem imagens a qualquer n´ ıvel (cˆmeras cegas) a location likelihood • Estimador de m´xima verossimilhan¸a a c mapping ⇒ Coordenadas de cada pessoa • Leve, e de f´cil uso a (etc...) pixels 2 Teixeira et al., “Address-event imagers for sensor networks: Evaluation and modeling”, IEEE/ACM IPSN 2006 Thiago Teixeira 9 / 29
  • 18. Solu¸˜o, parte 2: Rastreamento e Identifica¸˜o atrav´s da ca ca e 3 Fus˜o de Sensores a • Cˆmeras: detectar, contar e localizar anonimamente a • Telefones: rastrear e identificar pessoas coverage gap wireless access point existing cameras mobile phones 3 Teixeira et al. “Tasking Networked CCTV Cameras and Mobile Phones to Identify and Localize Multiple People”, ACM UbiComp 2010 Thiago Teixeira 10 / 29
  • 19. Solu¸˜o, parte 2: Rastreamento e Identifica¸˜o atrav´s da ca ca e 3 Fus˜o de Sensores a • Cˆmeras: detectar, contar e localizar anonimamente a • Telefones: rastrear e identificar pessoas time k-2 time k-1 time k motion motion motion location location location 3 Teixeira et al. “Tasking Networked CCTV Cameras and Mobile Phones to Identify and Localize Multiple People”, ACM UbiComp 2010 Thiago Teixeira 10 / 29
  • 20. Fus˜o usando HMM, Identifica¸˜o usando AGB a ca John Paul George xk 1 xk 2 xk 3 hidden state observations ? ? location detections from infrastructure yk 3 yk 1 yk 2 sensors correspondence between x's and y's unknown Thiago Teixeira 11 / 29
  • 21. Fus˜o usando HMM, Identifica¸˜o usando AGB a ca John Paul George John Paul George xk 1 xk 2 xk 3 xk 1 xk 2 xk 3 hidden state observations inertial zk 1 zk 2 zk 3 ? ? measurements from wearable location sensors detections yk 1 yk 2 yk 3 from infrastructure yk 3 yk 1 yk 2 sensors recover identity associations using correspondence between x's and y's unknown the z's from wearable sensors Thiago Teixeira 11 / 29
  • 22. Fus˜o usando HMM, Identifica¸˜o usando AGB a ca John Paul George John Paul George xk 1 xk 2 xk 3 xk 1 xk 2 xk 3 hidden state observations inertial zk 1 zk 2 zk 3 ? ? measurements from wearable location sensors detections yk 1 yk 2 yk 3 from infrastructure yk 3 yk 1 yk 2 sensors recover identity associations using correspondence between x's and y's unknown the z's from wearable sensors • O problema se reduz a um zk 1 yk 1 Acoplamento de Grafos Bipartidos (AGB) zk 2 yk 2 zk 3 yk 3 bipartite graph matching recovers associations Thiago Teixeira 11 / 29
  • 23. Fus˜o usando HMM, Identifica¸˜o usando AGB a ca John Paul George John Paul George xk 1 xk 2 xk 3 z k-2 3 xk-2 1 xx 2 k-2 xk-2 3 hidden state yk-2 2 observations z k-1 3 ? ? xk-1 1 xx 2 k-1 xk-1 3 yk-1 1 location detections from infrastructure yk 3 yk 1 yk 2 Each person sensors xk 1 xk 2 xk 3 corresponds to correspondence between x's and y's unknown a HMM zk 1 zk 2 zk 3 • O problema se reduz a um Acoplamento de Grafos yk 1 yk 2 yk 3 Bipartidos (AGB) • Para os pesos, usar Modelo Oculto de Markov (MOM) • Peso = verossimilhan¸a de que y and z originaram do mesmo x c Thiago Teixeira 11 / 29
  • 24. O que isto quer dizer, matematicamente? • Agrupar detec¸˜es em hip´teses de rastros: co o h j j j θk = {y11 , y22 , · · · , ykk } • Calcular verossimilhan¸a de cada hip´tese (usando MOM): c o j L(θk , z1:k ) = max P (xi |xi )P (ykk |xi )P (zk |xi )P (xi h i k k−1 k i k h i 1:k−1 , θk−1 , w1:k−1 ) xi k • Finalmente, identificar a melhor combina¸˜o de hip´teses (usando ca o AGB): 1 1 2 1 h 1   L(θk , zk ) L(θk , zk ) · · · L(θk , zk )  1 2 2 2 L(θk , zk ) L(θk , zk ) · · · h 2 L(θk , zk )     . . . . .. . .   . . . .  1 , z i ) L(θ 2 , z i ) · · · L(θk k h i L(θk , zk ) k k Thiago Teixeira 12 / 29
  • 25. Resultados • Exemplo de simula¸˜o, com 3 pessoas em uma ´rea de 10m × 10m: ca a stopping stopping resolved 50 proximity 50 ambiguities ambiguities resolved 40 40 time (s) time (s) 30 30 20 20 initially 10 10 10 incorrect 10 output resolved 5 5 0 2 0 2 4 6 4 6 8 0 8 0 simulation area in meters 10 simulation area in meters 10 Identification Accuracy • Multiple-Object Tracking 1 Accuracy (MOTA): accuracy (MOTA) 0.9 • Simula¸˜es (2–10 co 0.8 pessoas) simulation of ideal sensors (mean) 0.7 • Experimentos (2–4 simulation of non-ideal sensors (mean) 0.6 simulation of motion camera (mean) pessoas, 4 cameras) experiment with motion camera (mean) 0.5 0 2 4 6 8 10 12 mean track length (s) Thiago Teixeira 13 / 29
  • 26. Ferramentas • BehaviorScope Control Center / PySOS: Thiago Teixeira 14 / 29
  • 27. Ferramentas • BehaviorScope Control Center / PySOS: Thiago Teixeira 14 / 29
  • 28. Portal • BehaviorScope Web Portal: Thiago Teixeira 15 / 29
  • 29. Portal • BehaviorScope Web Portal: Thiago Teixeira 15 / 29
  • 30. E, agora sim, chegamos ` Internet das Coisas a Thiago Teixeira 16 / 29
  • 31. E, agora sim, chegamos ` Internet das Coisas a • O que s˜o coisas? S˜o ao mesmo tempo: a a • Objetos (do mundo real) com sensores e atuadores • Servi¸os de software que extraem/inserem informa¸˜es no mundo real c co • Podem ser acessadas como servi¸os quaisquer c Thiago Teixeira 16 / 29
  • 32. E, agora sim, chegamos ` Internet das Coisas a • O que s˜o coisas? S˜o ao mesmo tempo: a a • Objetos (do mundo real) com sensores e atuadores • Servi¸os de software que extraem/inserem informa¸˜es no mundo real c co • Podem ser acessadas como servi¸os quaisquer c • Ent˜o o que muda? a Thiago Teixeira 16 / 29
  • 33. Prova no. 1: Informa¸˜es de/para Humanos co • Considere a p´gina mais editada da Wikip´dia45 : a e • Editada 44320 vezes ≈ 12.8 edi¸˜es por dia co • P´gina m´dia na Wikip´dia: 19.21 edi¸˜es no total a e e co • S´ a ultima vers˜o ´ acessada → S´ um “ponto” da s´rie ´ essencial o ´ a e o e e 4 http://en.wikipedia.org/wiki/Wikipedia:Database_reports/Pages_with_the_most_revisions 5 Fonte, WikiDashboard: http://wikidashboard.appspot.com Thiago Teixeira 17 / 29
  • 34. Prova no. 2: Informa¸˜es do Mundo F´ co ısico • Compare com a posi¸˜o de uma pessoa em casa durante 30 dias: ca • Dados acima s˜o de 6 sensores somente! a • E ainda assim, s˜o 41700 pontos por dia! a • A informa¸˜o relevante se extende pelo tempo e pelo espa¸o! ca c Thiago Teixeira 18 / 29
  • 35. Desafios da Internet das Coisas6 • Escala Massiva — bilh˜es de coisas, dados em m´ltiplas dimens˜es o u o • Profunda Heterogeneidade — modelos diferentes, variabilidade de materiais, etc. • Topologia desconhecida • Disponibilidade desconhecida de dados • Metadados incompletos ou errˆneos o • Conflitos multi-agente 6 Teixeira et al., “Service Oriented Middleware for the Internet of Things”, ServiceWave 2011 Thiago Teixeira 19 / 29
  • 36. Desafios da Internet das Coisas6 • Escala Massiva — bilh˜es de coisas, dados em m´ltiplas dimens˜es o u o • Profunda Heterogeneidade — modelos diferentes, variabilidade de materiais, etc. • Topologia desconhecida • Disponibilidade desconhecida de dados • Metadados incompletos ou errˆneos o • Conflitos multi-agente • Estes desafios j´ se revelam hoje — por´m em escalas muito menores! a e 6 Teixeira et al., “Service Oriented Middleware for the Internet of Things”, ServiceWave 2011 Thiago Teixeira 19 / 29
  • 37. Salvos pela F´ ısica! • A IoT ´ f´ e ısica, e propriedades do mundo real s˜o altamente a correlacionadas, em grande parte cont´ ınuas no espa¸o/tempo, e c muitas vezes previs´ ıveis • Armas em nosso arsenal: • Aproxima¸˜es, estima¸˜es co co • Modelos probabil´ ısticos • Composi¸˜es co ⇒ Ou seja, tudo o que j´ ´ feito hoje por experts ae • Mas ` medida que a rede cresce, ser´ imposs´ contar com a a a ıvel interferˆncia manual de experts! e • Faltam ferramentas automatizadas para lidar com dimen¸˜es co espa¸o-temporais c Thiago Teixeira 20 / 29
  • 38. Proposta: um Middleware para a IoT7 COMPOSITION & ESTIMATION KNOWLEDGE BASE request domain ontology application expansion result estimation ontology sensor DISCOVERY mapping device ontology actuator actuator INTERNET optimization processor sensor processor execution sensor IoT MIDDLEWARE • Trˆs blocos principais e 1. Descoberta 2. Composi¸˜o e Estima¸˜o ca ca 3. Base de Conhecimento (ontologias) 7 Teixeira et al., “Service Oriented Middleware for the Internet of Things”, ServiceWave 2011 Thiago Teixeira 21 / 29
  • 39. Proposta: um Middleware para a IoT7 COMPOSITION & ESTIMATION KNOWLEDGE BASE request domain ontology application expansion result estimation ontology sensor DISCOVERY mapping device ontology actuator actuator INTERNET optimization processor sensor processor execution sensor IoT MIDDLEWARE • Trˆs id´ias principais e e 1. Descoberta probabil´ıstica 2. Composi¸˜o aproximada ca 3. Estima¸˜o autom´tica ca a 7 Teixeira et al., “Service Oriented Middleware for the Internet of Things”, ServiceWave 2011 Thiago Teixeira 21 / 29
  • 40. A Base de Conhecimentos • Composta de trˆs ontologias: e • Ontologia do Dom´ ınio Descreve conceitos f´ ısicos • Ontologia de Dispositivos Descreve sensores e atuadores • Ontologia de Estima¸˜o ca Descreve modelos probabil´ ısticos, etc. Thiago Teixeira 22 / 29
  • 41. Composi¸˜o de Coisas ca Thiago Teixeira 23 / 29
  • 42. Composi¸˜o Aproximada de Coisas ca • Espa¸o do problema ´ grande demais c e ⇒ Composi¸˜o otimizada e exata ´ impratic´vel ca e a • Solu¸˜o: Composi¸˜o aproximada ca ca • Reduzir as respostas dos blocos de expans˜o e mapeamento a COMPOSITION & ESTIMATION KNOWLEDGE BASE request domain ontology application expansion result estimation ontology sensor DISCOVERY mapping device ontology actuator actuator INTERNET optimization processor sensor processor execution sensor IoT MIDDLEWARE Thiago Teixeira 24 / 29
  • 43. Descoberta Probabil´ ıstica • Como descobrir coisas dentre bilh˜es distribu´ o ıdas pelo mundo, com restri¸˜es de mem´ria, processamento, e tempo? co o • Solu¸˜o: Incorporar aproxima¸˜es ao processo de descoberta ca co • Tanto no registro quanto na procura Thiago Teixeira 25 / 29
  • 44. Descoberta Probabil´ ıstica • Como descobrir coisas dentre bilh˜es distribu´ o ıdas pelo mundo, com restri¸˜es de mem´ria, processamento, e tempo? co o • Solu¸˜o: Incorporar aproxima¸˜es ao processo de descoberta ca co • Tanto no registro quanto na procura • Exemplo de procura probabil´ ıstica: Thiago Teixeira 25 / 29
  • 45. Descoberta Probabil´ ıstica • Como descobrir coisas dentre bilh˜es distribu´ o ıdas pelo mundo, com restri¸˜es de mem´ria, processamento, e tempo? co o • Solu¸˜o: Incorporar aproxima¸˜es ao processo de descoberta ca co • Tanto no registro quanto na procura • Exemplo de procura probabil´ ıstica: Thiago Teixeira 25 / 29
  • 46. Descoberta Probabil´ ıstica • Como descobrir coisas dentre bilh˜es distribu´ o ıdas pelo mundo, com restri¸˜es de mem´ria, processamento, e tempo? co o • Solu¸˜o: Incorporar aproxima¸˜es ao processo de descoberta ca co • Tanto no registro quanto na procura • Exemplo de procura probabil´ ıstica: Thiago Teixeira 25 / 29
  • 47. Estimativa Autom´tica a • O que fazer quando o dado que se procura n˜o est´ dispon´ (ou a a ıvel n˜o foi nem coletado)? a • Solu¸˜o: Estimar! ca Thiago Teixeira 26 / 29
  • 48. Estimativa Autom´tica a • O que fazer quando o dado que se procura n˜o est´ dispon´ (ou a a ıvel n˜o foi nem coletado)? a • Solu¸˜o: Estimar! ca • Exemplo de estimativa temporal: Thiago Teixeira 26 / 29
  • 49. Estimativa Autom´tica a • O que fazer quando o dado que se procura n˜o est´ dispon´ (ou a a ıvel n˜o foi nem coletado)? a • Solu¸˜o: Estimar! ca • Exemplo de estimativa temporal: Thiago Teixeira 26 / 29
  • 50. Estimativa Autom´tica a • O que fazer quando o dado que se procura n˜o est´ dispon´ (ou a a ıvel n˜o foi nem coletado)? a • Solu¸˜o: Estimar! ca • Exemplo de estimativa temporal: Thiago Teixeira 26 / 29
  • 51. Estimativa Autom´tica a • O que fazer quando o dado que se procura n˜o est´ dispon´ (ou a a ıvel n˜o foi nem coletado)? a • Solu¸˜o: Estimar! ca • Exemplo de estimativa espacial: Thiago Teixeira 26 / 29
  • 52. Estimativa Autom´tica a • O que fazer quando o dado que se procura n˜o est´ dispon´ (ou a a ıvel n˜o foi nem coletado)? a • Solu¸˜o: Estimar! ca • Exemplo de estimativa espacial: Thiago Teixeira 26 / 29
  • 53. Alguns Pontos Importantes • As solu¸˜es propostas s´ funcionam porque as propriedades do mundo co o real s˜o correlacionadas, cont´ a ınuas, e previs´ ıveis • Servi¸os puramente em software s˜o apenas coisas simplificadas: c a Por isso s˜o suportados automaticamente pela middleware a • Outros desafios mencionados (metadados incompletos ou errˆneos, e o conflitos multi-agente) tamb´m podem ser solucionados usando e modelos matem´ticos a Mas n´s deixamos este trabalho para o futuro o Thiago Teixeira 27 / 29
  • 54. Concluindo • A Internet das Coisas requer novos modos de intera¸˜o ca • Sem um middleware inteligente, somente experts poder˜o utilizar a a IoT ao m´ximo a • Boa not´ ıcia: • A rob´tica, a teoria da estimativa, a aprendizagem de m´quina, etc., o a nos mostram o caminho ⇒ Agora s´ falta automatizar! :) o Thiago Teixeira 28 / 29
  • 55. Obrigado! Perguntas? s´ ıtio http://thiagot.com contato: thiago.teixeira@inria.fr Thiago Teixeira 29 / 29