O documento introduz o conceito de fotopletismografia remota (rPPG), que permite medir o pulso cardíaco através de imagens de vídeo. Ele descreve o princípio de funcionamento da rPPG, incluindo a extração da região facial, o processamento do sinal de cores e métodos como análise de componentes principais. Também discute aplicações como detecção de frequência cardíaca e fornece instruções passo a passo para executar um sistema rPPG em tempo real usando Python.

1. Introdução à Fotopletismografia Remota
Medição do pulso cardíaco mediante imagens de vídeo
Dr. José D. Bermúdez Castro
prof.bermudez@ica.ele.puc-rio.br

2. O que é a Fotopletismografia ?
2

3. Introdução à Fotopletismografia Remota
Fotopletismografia
3

4. Introdução à Fotopletismografia Remota
Fotopletismografia
Definição:
A Fotopletismografia (PPG - Photoplethysmography) é um método ótico para a medição da
reflectância ou transmissão da luz da pele que pode ser usado para a detecção do pulso.
Princípio de Funcionamento:
4
Esquerda: artérias mais estreitas e menos absorção (maior refletividade) da fonte de luz verde. Direita: artérias mais largas e mais
absorção de luz (menor refletividade)
Credits: https://theconversation.com/how-reliable-is-your-wearable-heart-rate-monitor-98095

5. Introdução à Fotopletismografia Remota
Fotopletismografia
Definição:
A Fotopletismografia (PPG - Photoplethysmography) é um método ótico para a medição da
reflectância ou transmissão da luz da pele que pode ser usado para a detecção do pulso.
5

6. Introdução à Fotopletismografia Remota
Princípio de Funcionamento:
Fotopletismografia (PPG)
6
Esquerda: pessoa quieta, mostrando um sinal de frequência cardíaca facilmente identificado. À direita: o
mesmo sensor minutos depois, durante a caminhada.
Credits: https://theconversation.com/how-reliable-is-your-wearable-heart-rate-monitor-98095

7. Introdução à Fotopletismografia Remota
Fatores que afetam a PPG :
• Volume sanguíneo
• Movimento da parede dos vasos sanguíneos
• Orientação das células vermelhas
Fotopletismografia (PPG)
7

8. Introdução à Fotopletismografia Remota
Aplicações:
• Frequência cardíaca e o ciclo cardíaco
• Respiração
• Saturação de oxigênio (Covid-19)
• Pressão arterial
• Impressão digital (antifraude)
Fotopletismografia (PPG)
8

9. O que é a Fotopletismografia Remota ?
9

10. Introdução à Fotopletismografia Remota
Princípio de Funcionamento:
Os fenômenos explorados no rPPG estão intimamente
relacionados ao ciclo cardíaco.
• Durante cada ciclo, o sangue circula do coração para a
cabeça através das artérias carótidas.
• Esse influxo periódico de sangue afeta tanto as
propriedades ópticas da pele facial quanto o movimento
mecânico da cabeça, permitindo aos pesquisadores medir
a FC remotamente.
Fotopletismografia Remota (rPPG)
10
Rouast, P. V., Adam, M. T., Chiong, R., Cornforth, D., & Lux, E. (2018). Remote heart rate measurement using low-cost RGB face video: a technical literature review. Frontiers of Computer
Science, 12(5), 858-872.

11. Introdução à Fotopletismografia Remota
Princípio de Funcionamento:
Credits: Wang et al. (2017). Algorithmic principles of remote-PPG. IEEE Transactions on Biomedical Engineering, 64(7), 1479–1491. DOI:
10.1109/TBME.2016.2609282
Fotopletismografia Remota (rPPG)
11

12. Introdução à Fotopletismografia Remota
Conceitos:
• A rPPG mede a variação das mudanças de
reflexão da luz (vermelha, verde e azul) na pele,
como o contraste entre a reflexão especular e a
reflexão difusa.
• A reflexão especular é a reflexão pura da luz da
pele.
• A reflexão difusa é o reflexo que permanece da
absorção e dispersão no tecido da pele, que varia
com as alterações do volume sanguíneo.
Fotopletismografia Remota
12

13. Introdução à Fotopletismografia Remota
Princípio de Funcionamento:
Fotopletismografia Remota
13

14. Introdução à Fotopletismografia Remota
Fotopletismografia Remota
Aplicações:
• Frequência cardíaca e o ciclo cardíaco
• Anti fraude
• Covid-19
• Monitoramento de Crianças
14

15. Introdução à Fotopletismografia Remota
Princípio de Funcionamento:
credits: http://alumni.media.mit.edu/~djmcduff/assets/remote-physiology.html
Fotopletismografia Remota
15

16. Introdução à Fotopletismografia Remota
Pipeline de processamento:
Fotopletismografia Remota
16
Boccignone, G., Conte, D., Cuculo, V., D’Amelio, A., Grossi, G., & Lanzarotti, R. (2020). An Open Framework for Remote-PPG Methods and their Assessment. IEEE Access,
8, 216083-216103.

17. Introdução à Fotopletismografia Remota
Extração da Face:
Fotopletismografia Remota
17

18. Introdução à Fotopletismografia Remota
Extração da Face:
Dada uma sequência de vídeo v(t), o objetivo é extrair a cada frame o quadro que contém o rosto.
Fotopletismografia Remota
18
Extractor
de Face
Boxes [y, x, h, w]
v(t)

19. Introdução à Fotopletismografia Remota
Extração da Face:
Dada uma sequência de vídeo v(t), o objetivo é extrair a cada frame o quadro que contém o rosto.
Métodos:
• Métodos clássicos
• Viola & Jones1
• Deep Learning
• MTCNN2
• Tracking
• Kalman Filter
[1] Viola, P., & Jones, M. (2001, December). Rapid object detection using a boosted cascade of simple features. In Proceedings of the 2001 IEEE computer society conference on computer vision
and pattern recognition. CVPR 2001 (Vol. 1, pp. I-I). IEEE.
[2 ]Zhang, K., Zhang, Z., Li, Z., & Qiao, Y. (2016). Joint face detection and alignment using multitask cascaded convolutional networks. IEEE Signal Processing Letters, 23(10), 1499-1503.
Fotopletismografia Remota
19

20. Introdução à Fotopletismografia Remota
Extração da Face:
MTCNN: Exemplos
• Robusto a iluminação, escala, pose.
Fotopletismografia Remota
20

21. Introdução à Fotopletismografia Remota
Extração da Face:
• Tracking
Fotopletismografia Remota
21

22. Introdução à Fotopletismografia Remota
Princípio de Funcionamento:
Fotopletismografia Remota
22

23. Introdução à Fotopletismografia Remota
Processamento da Região de Interesse (ROI):
Objetivo:
Coletar pixels contendo os componentes de sinal mais informativos
para a estimativa da frequência cardíaca.
Melhores regiões:
- Todo o rosto
- Regiões retangulares predeterminadas
- a testa, o nariz ou as bochechas.
A seleção de ROI é um processo crítico que muitas vezes requer
refinamentos a fim de remover ruídos e artefatos, preservando
elementos confiáveis para detecção de batimento
Fotopletismografia Remota
23

24. Introdução à Fotopletismografia Remota
Processamento da Região de Interesse (ROI):
Tracking dos Pontos fiduciais usando Modelos Ativos de Apariencia (AAM)
Fotopletismografia Remota
24

25. Introdução à Fotopletismografia Remota
Princípio de Funcionamento:
Fotopletismografia Remota
26

26. Introdução à Fotopletismografia Remota
Processamento do Sinal RGB:
Para cada frame t, e para cada banda,
- Computar estatísticas (média, mediana) dos
pixels de cada região R,
Fotopletismografia Remota
27

27. Introdução à Fotopletismografia Remota
Princípio de Funcionamento:
Fotopletismografia Remota
28

28. Introdução à Fotopletismografia Remota
Preprocessing
- Reduzir ruído e artefatos.
- Movimentos da fase, mudanças na iluminação, etc.
- Manter a informação mais relevante
Fotopletismografia Remota
29

29. Introdução à Fotopletismografia Remota
Preprocessing
Fotopletismografia Remota
30
Sinal no Tempo Sinal na Frequência
Frequências posiveis: [0.7 Hz, 4 Hz] → [42 bpm, 240 bpm]

30. Introdução à Fotopletismografia Remota
Métodos:
Fotopletismografia Remota
31

31. Introdução à Fotopletismografia Remota
Métodos:
Fotopletismografia Remota
32
x(t)

32. Introdução à Fotopletismografia Remota
Métodos:
• Análise de Componentes Principais (PCA)
• Análise de Componentes Independentes (ICA)
• Análise da Banda Verde
• Análise do Chroma (CHROM)
• Métodos Baseados em DL.
• ...
Fotopletismografia Remota
33

33. Introdução à Fotopletismografia Remota
Métodos:
Fotopletismografia Remota
34
x(t)

34. Introdução à Fotopletismografia Remota
Métodos:
Fotopletismografia Remota
35

35. Introdução à Fotopletismografia Remota
Métodos: Análise de Componentes Principais
Fotopletismografia Remota
36
R
B
R
B
R
B

36. Introdução à Fotopletismografia Remota
Métodos: CHROM
Fotopletismografia Remota
37

37. Introdução à Fotopletismografia Remota
Espectro:
Fotopletismografia Remota
38

38. Introdução à Fotopletismografia Remota
Espectro
Fotopletismografia Remota
39
Transformada de
Fourier
Peak Max

39. Introdução à Fotopletismografia Remota
Medição do pulso cardíaco mediante imagens de vídeo
Dr. José D. Bermúdez Castro
prof.bermudez@ica.ele.puc-rio.br

40. Introdução à Fotopletismografia Remota
Paso a paso
1. Baixar python e instalar python:
• https://www.anaconda.com/products/individual
2. Criar um ambiente para python 3.7 (abrir o cmd de Anaconda)
• conda create --name rPPG python==3.7
3. Ativar o ambiente:
• conda activate rPPG
Execução em tempo real dum sistema de
rPPG para medir o pulso cardíaco.
41

41. Introdução à Fotopletismografia Remota
5. Instalar pacotes necessários:
• conda install -c conda-forge dlib
• conda install scipy==1.3.0
• conda install git
• pip install PyQt5==5.12.3
• pip install opencv-python==4.1.0.25
• pip install imutils pyqtgraph
6. Criar uma pasta onde serão executado o programa, depois, ir a pasta, e clonar ou baixar o repo:
• cd nome_da_pasta
• git clone https://github.com/habom2310/Heart-rate-measurement-using-camera.git
7. Executar o programa:
• Entrar no diretório do repositório
• cd Heart-rate-measurement-using-camera
• python GUI.py
Execução em tempo real dum sistema de
rPPG para medir o pulso cardíaco.
42