Heart rate measurement using camera Study of algorithms and systems based in contact and non-contact Project for lecture "Telemedicine"

1. ΜΕΤΡΗΣΗ ΤΟΥ ΚΑΡΔΙΑΚΟΥ
ΡΥΘΜΟΥ ΜΕ ΧΡΗΣΗ
ΚΑΜΕΡΑΣ
ΑΛΓΟΡΙΘΜΟΙ & ΣΥΣΤΗΜΑΤΑ
ΠΟΥ ΒΑΣΙΖΟΝΤΑΙ ΣΤΗΝ
ΕΠΑΦΗ ΚΑΙ ΣΤΗ ΜΗ ΕΠΑΦΗ
ΕΡΓΑΣΙΑ ΣΤΟ ΜΑΘΗΜΑ
« »ΤΗΛΕΪΑΤΡΙΚΗ
ΣΙΓΑΝΟΣ ΜΑΡΙΟΣ

2. ΠΕΡΙΕΧΟΜΕΝΑ - ΔΟΜΗ
▪ ΣΤΟΧΟΣ
▪ ΠΑΡΕΛΘΟΝ
▪ –ΣΗΜΑΣΙΑ ΑΝΑΓΚΗ ΓΙΑ ΜΙΑ ΝΕΑ ΤΕΧΝΟΛΟΓΙΑ
▪ ΑΝΑΛΥΣΗ
▪ Δ – Δ ΔΜΕΘΟ ΟΙ ΙΑ ΙΚΑΣΙΕΣ
▪ ΩΠΕΡΙΠΤ ΣΕΙΣ ΧΡΗΣΗΣ
▪ ΩΕΦΑΡΜΟΓΕΣ ΓΙΑ ΚΙΝΗΤΑ ΤΗΛΕΦ ΝΑ
▪ ΒΙΒΛΙΟΓΡΑΦΙΑ

3. ΣΤΟΧΟΣ
ΤΗΣ ΕΡΓΑΣΙΑΣ

4. ΣΤΟΧΟΣ
Δ μ μη ιουργία ιας μεθόδου
▪Απλής
▪ μΧα ηλού κόστους
μγια τη έτρηση μπολλαπλών φυσιολογικών παρα έτρων και πιο
μσυγκεκρι ένα του μκαρδιακού ρυθ ού
μ με χρήση ιας μκά ερας

5. ΠΑΡΕΛΘΟΝ
ΠΑΛΑΙΌΤΕΡΟΙ ΑΛΓΟΡΙΘΜΟΙ ΚΑΙ ΣΥΣΤΗΜΑΤΑ

6. ΠΑΡΕΛΘΟΝ
▪ μ μΜη αυτο ατοποιη ένες προσπάθειες
▪ μ μΕυαισθησία σε κινού ενα αντικεί ενα
▪ Υψηλό κόστος
▪ - μΧρήση ειδικού υλικού εξοπλισ ού

7. ΠΑΡΕΛΘΟΝ
μΗ έτρηση ζωτικών ενδείξεων χωρίς επαφή
μ (όπως ο καρδιακός ρυθ ός HR) (RR)και η αναπνευστική συχνότητα
μ :περιλά βαναν
▪ Dopplerλέιζερ
▪ μ μ Dopplerραντάρ ικροκυ άτων
▪ μθερ ική απεικόνιση

8. ΠΑΡΕΛΘΟΝ
μ (ECG)Τεχνικές όπως το ηλεκτροκαρδιογράφη α απαιτούν από τους
:ασθενείς να φορούν
▪ μειδικά αυτοκόλλητα επιθέ ατα
▪λουριά στο στήθος
μ μ μ .που πορεί να προκαλέσουν ερεθισ ό του δέρ ατος και δυσφορία
μ μ μΟι ε πορικοί αισθητήρες παλ ικής οξυ ετρίας που συνδέονται
▪με τα χέρια ή
▪τους λοβούς των αυτιών
μ μείναι επίσης ενοχλητικοί και οι συνδετήρες ε ελατήρια πορεί να
προκαλέσουν πόνο

9. ΣΗΜΑΣΙΑ
ΑΝΑΓΚΗ ΓΙΑ ΜΙΑ ΝΕΑ ΤΕΧΝΟΛΟΓΙΑ

10. –ΣΗΜΑΣΙΑ ΑΝΑΓΚΗ ΓΙΑ ΜΙΑ ΝΕΑ
ΤΕΧΝΟΛΟΓΙΑ
 μΕνίσχυση της κύριας υγειονο ικής περίθαλψης
 μ μΜακροχρόνια παρακολούθηση του καρδιακού ρυθ ού ε ένα τρόπο
• διακριτικό
• άνετο
Ελαχιστοποίηση της καλωδίωσης και της ακαταστασίας που σχετίζονται
με
▪ μτην παρακολούθηση νεογνών σε ια Μονάδα Εντατικής Θεραπείας
▪ μ μτη ακροπρόθεσ η παρακολούθηση της επιληψίας
▪ μ μ μτην παρακολούθησης ασθενών ε έγκαυ α ή τραύ α
▪ μτις ελέτες του ύπνου
▪ μκαθώς και άλλες περιπτώσεις όπου ένα συνεχές έτρο του καρδιακού
μ μρυθ ού είναι ση αντικό

11. ΑΝΑΛΥΣΗ
Δ – Δ Δ – ΩΜΕΘΟ ΟΙ ΙΑ ΙΚΑΣΙΕΣ ΠΕΡΙΠΤ ΣΕΙΣ ΧΡΗΣΗΣ

12. ΑΝΑΛΥΣΗ
Συστήματα που βασίζονται στη μη επαφή
• μ μ μ .Ο καρδιακός παλ ός προκαλεί ικρές αλλαγές χρώ ατος στο πρόσωπό
• , μ μ μΌταν χτυπά η καρδιά ένας παλ ός αί ατος αποστέλλεται έσω των
μ .αι οφόρων αγγείων
• μ .Το αί α απορροφά φως
• μ μ ,Όταν περισσότερο αί α ρέει έσα από τα αγγεία αντανακλάται λιγότερο
.φως που χτυπά στο πρόσωπό
• μ μ μ μΜε τη χρήση ιας κά ερας και ενός προηγ ένου αλγορίθ ου
μ μ beat-to-beat .ανιχνεύονται αυτές οι ικροαλλαγές ε ακρίβεια
• μ μ μΟ αλγόριθ ος είναι σχεδιασ ένος ε βάση την αξιόπιστη έννοια της
φωτοπληθυσμογραφίας (PPG) χωρίς επαφή

13. Δ - Δ ΔΜΕΘΟ ΟΙ ΙΑ ΙΚΑΣΙΕΣ
μ (PPG) μΗ φωτοπληθυσ ογραφία είναι ένα έσο μχα ηλού κόστους και μ -η
μεπε βατικό
μ μ (BVP) μγια την ανίχνευση του καρδιαγγειακού παλ ού όγκου αί ατος έσω των
μ μ μ .παραλλαγών στο εκπε πό ενο ή ανακλώ ενο φως
PPG μΗ συνήθως υλοποιείται αποκλειστικά ε τη χρήση πηγών φωτός
μ μ μΟι ετρήσεις παλ ού από το ανθρώπινο πρόσωπο είναι εφικτές ε κανονικό φως
μπεριβάλλοντος ως πηγή φωτισ ού
- μ μΑυτή η ηλεκτρο οπτική τεχνική πορεί να παρέχει πολύτι ες πληροφορίες σχετικά
μ μ :ε το καρδιαγγειακό σύστη α όπως
▪ μο καρδιακός ρυθ ός
▪ μ μο αρτηριακός κορεσ ός του οξυγόνου στο αί α
▪η αρτηριακή πίεση

14. Δ - Δ ΔΜΕΘΟ ΟΙ ΙΑ ΙΚΑΣΙΕΣ
μ μ μΑρχικά δεν υπήρχαν αυστηρά φυσιολογικά και αθη ατικά οντέλα που
μνα επιδέχονται υπολογισ ό
▪ μΠοσοτικοποίηση πολλών φυσιολογικών παρα έτρων
▪ μ μ (BVP)Εξαγωγή του καρδιαγγειακού παλ ού όγκου αί ατος για τον
μυπολογισ ό
▪ μ (HR)του καρδιακού ρυθ ού
▪ μ (RR)του αναπνευστικού ρυθ ού
▪ μ μ (HRV)της εταβλητότητας του καρδιακού ρυθ ού
μ μΕυαισθησία στην κίνηση που προκαλείται από παρε βολές του σή ατος
μ μ μΗ εξάλειψη των κινού ενων αντικει ένων είναι ένα από τα πιο ση αντικά
μ .προβλή ατα

15. Δ - Δ ΔΜΕΘΟ ΟΙ ΙΑ ΙΚΑΣΙΕΣ
Μια τεχνική για την αφαίρεση του θορύβου
μ :από φυσιολογικά σή ατα είναι
ο μ (BSS)τυφλός διαχωρισ ός πηγής
μ « »Ανάκτηση των απαρατήρητων ση άτων ή πηγών από ένα σύνολο
μ μ μ μ μπαρατηρού ενων ιγ άτων χωρίς προηγού ενες πληροφορίες σχετικά ε
μτη διαδικασία ανά ιξης
μΧρήση της εθόδου (ICA)Ανάλυσης Ανεξάρτητων Συνιστωσών
μΑποκάλυψη των ανεξάρτητων ση άτων πηγής από ένα σύνολο
μμ μ μπαρατηρήσεων που αποτελούνται από γρα ικά ίγ ατα των
μυποκεί ενων πηγών

16. Δ - Δ ΔΜΕΘΟ ΟΙ ΙΑ ΙΚΑΣΙΕΣ
Χρήση της ICA
▪αφαίρεση θορύβου από καταγραφές
▪ μ (ECG)ηλεκτροκαρδιογραφή ατος
▪ μ (EEG)ηλεκτροεγκεφαλογραφή ατος
▪ μ μ μδιαχωρισ ός των ηλεκτροκαρδιογραφη άτων του ε βρύου και της
μητέρας που καταγράφονται ταυτόχρονα
▪ μανίχνευση των περιοχών δραστηριότητας που σχετίζονται ε ένα
μ μ μ (fMRI)γεγονός σε πειρά ατα λειτουργικής αγνητικής το ογραφίας
▪μ μ μ PPG μείωση κινού ενων αντικει ένων σε ετρήσεις

17. Ω –ΠΕΡΙΠΤ ΣΕΙΣ ΧΡΗΣΗΣ ΜΗ ΕΠΑΦΗ
▪ μ μ μ iSight Macbook ProΧρήση της ενσω ατω ένης κά ερα σε ένα
▪ μ (24-bit RGB μ 3 × 8 bits/ )Καταγραφή έγχρω ου βίντεο ε κανάλια κανάλι
▪ 15 (fps)καρέ ανά δευτερόλεπτο
▪ 640 × 480Ανάλυση
▪ μ AVIΑποθήκευση σε ορφή
▪ μ μ (12) (10 ., 2 .),Το δείγ α αποτελείται από άτο α και των δύο φύλων αρ θηλ
(18-31) μ μ μδιαφορετικών ηλικιών και ε διαφορετικό χρώ α δέρ ατος
▪ μ μ μΤα πειρά ατα έγιναν σε εσωτερικό χώρο ε το ηλιακό φως ως όνη πηγή
μφωτισ ού

18. Ω –ΠΕΡΙΠΤ ΣΕΙΣ ΧΡΗΣΗΣ ΜΗ ΕΠΑΦΗ
3Καταγραφή βίντεο διάρκειας ενός λεπτού
▪ μ μΜετρήσεις καρδιακού ρυθ ού σε κατάσταση ηρε ίας
▪ μΜετρήσεις καρδιακού ρυθ ού κατά τη διάρκεια της κίνησης
▪ μ μΤαυτόχρονες ετρήσεις του καρδιακού ρυθ ού πολλαπλών
μμσυ ετεχόντων
μ μ (BVP)Χρήση ενός αισθητήρα παλ ού όγκου αί ατος δακτύλου στα
256 Hz μ μ μεγκεκρι ένο από την Α ερικανική Υπηρεσία Τροφί ων και
μ (US FDA) .Φαρ άκων για επικύρωση
Bland-AltmanΧρήση της ανάλυσης και της ανάλυσης συσχέτισης
μγια τη σύγκριση των αντίστοιχων ετρήσεων

19. Ω –ΠΕΡΙΠΤ ΣΕΙΣ ΧΡΗΣΗΣ ΜΗ ΕΠΑΦΗ
▪ Επεξεργασία και ανάλυση του βίντεο και των φυσιολογικών
μ MATLABκαταγραφών ε χρήση του
▪ μ μΑυτο ατοποιη ένη ανίχνευση προσώπων εντός των πλαισίων
μ (ROI)βίντεο και εντοπισ ός της περιοχή ενδιαφέροντος για κάθε
καρέ του βίντεο
▪ μ Open ComputerΧρήση ιας ελεύθερης έκδοσης της βιβλιοθήκης
Vision (OpenCV) μ μσυ βατής ε το MATLAB για την απόκτηση των
μσυντεταγ ένων της θέσης του κάθε προσώπου
▪ μ μΧρήση του προεκπαιδευ ένου ταξινο ητή προσώπου που
περιέχεται στο OpenCV 2.0

20. Ω –ΠΕΡΙΠΤ ΣΕΙΣ ΧΡΗΣΗΣ ΜΗ ΕΠΑΦΗ
Μεθοδολογία αποκατάστασης καρδιακού
μπαλ ού
▪ (ROI) ( )Η περιοχή ενδιαφέροντος α
μανιχνεύεται αυτό ατα
▪ ROI μ RGBΤο αποσυντίθεται έσα στα
( )κανάλια β
▪ μκαι χωρικά κατά έσο όρο για να ληφθούν
RGB ( )τα ακατέργαστα ίχνη γ
▪ ICA μ μΗ εφαρ όζεται στα κανονικοποιη ένα
RGB ίχνη για να ανακτηθούν τρία
μ ( )ανεξάρτητα σή ατα πηγής δ

21. Ω –ΠΕΡΙΠΤ ΣΕΙΣ ΧΡΗΣΗΣ ΜΗ ΕΠΑΦΗ
▪ ( μ )Επιλογή της δεύτερης συνιστώσας ισχυρό σή α
▪ μ μ μ μ Fourier (FFT)Εφαρ ογή ταχύ ετασχη ατισ ού
▪ μΑπόκτηση φάσ ατος ισχύος
▪ μΕύρεση συχνότητας παλ ού

22. ΑΝΑΛΥΣΗ
μΣυστή ατα που βασίζονται στην επαφή
• μΤο χρώ α του δαχτύλου αλλάζει ελαφρώς καθώς τα τριχοειδή
μ μαγγεία έσα του διαστέλλονται και συστέλλονται ε κάθε καρδιακό
μ .παλ ό
• , μ μΜε αρκετό φως οι εταβολές στο χρώ α είναι εύκολο να
μ μ .ανιχνευθούν ε το σωστό αλγόριθ ο

23. Δ - Δ ΔΜΕΘΟ ΟΙ ΙΑ ΙΚΑΣΙΕΣ
▪ μΚαταγραφή των καρέ σε πραγ ατικό χρόνο
▪ Ένα greyscale μ μ μτ ή α της εικόνας σαρώνεται και επεξεργάζεται ε
μ μ μαποτέλεσ α να πάρου ε πληροφορίες σχετικές ε τη φωτεινότητα για
μ μ μκάθε ε ονω ένο καρέ
▪ μ μ μΕξαγωγή ιας έσης τι ής φωτεινότητας για κάθε καρέ
▪ μ μ μ μΚάθε καρδιακός παλ ός δη ιουργεί ένα κύ α αί ατος που φτάνει τα
:τριχοειδή στην άκρη του δακτύλου
▪ μ μ μ μ μόταν τα τριχοειδή είναι γε άτα από αί α ε ποδίζουν το φως ε αποτέλεσ α
μ μ μτην είωση στις έσες τι ές φωτεινότητας
▪ μ , μΚαθώς το αί α αποσύρεται περισσότερο φως πορεί να περάσει
μανά έσα
▪ μ μΣύλληψη του αρχικού ακατέργαστου σή ατος του παλ ού
▪ μ μΕξαγωγή πληροφοριών σχετικά ε το ποσοστό καρδιακού ρυθ ού

24. Ω -ΠΕΡΙΠΤ ΣΕΙΣ ΧΡΗΣΗΣ ΕΠΑΦΗ
▪ 50 μ 21-55 μ . . 31.3άτο α ηλικίας χρονών ε Μ Ο χρόνια
▪ 50Συνολική καταγραφή καρέ σε κάθε σετ
▪ 1 μ μΟ Πίνακας συνοψίζει τα αποτελέσ ατα για τα δείγ ατα που
μ μ , μλα βάνονται σε καλά φωτισ ένες περιοχές όταν το έσο φως
μπου απορροφάται από τους φακούς της κά ερας χωρίς
μ 46% μοποιαδήποτε παρε πόδιση ήταν της έγιστης ποσότητας
μτου φωτός που θα πορούσε ο φακός να απορροφήσει
▪ 2 13% μΟ Πίνακας αναφέρεται στο της έγιστης ποσότητας φωτός
μπου πορεί να απορροφηθεί

25. Ω -ΠΕΡΙΠΤ ΣΕΙΣ ΧΡΗΣΗΣ ΕΠΑΦΗ
1Πίνακας
:Μέσο λάθος
2Πίνακας
:Μέσο λάθος

26. ΑΝΑΛΥΣΗ

27. ΕΦΑΡΜΟΓΕΣ
ΩΓΙΑ ΚΙΝΗΤΑ ΤΗΛΕΦ ΝΑ

28. ΩΕΦΑΡΜΟΓΕΣ ΓΙΑ ΚΙΝΗΤΑ ΤΗΛΕΦ ΝΑ
-Σύγχρονα κινητά τηλέφωνα Smartphones
▪ μ μ μδυνατότητες ετάδοσης δεδο ένων ε υψηλή ταχύτητα
▪ μ μ μενσω ατω ένοι ικροεπεξεργαστές
▪ μχα ηλό κόστος για αγορά
▪ μεύκολη δυνατότητα εταφοράς
▪εύκολη χρήση

29. ΕΦΑΡΜΟΓΕΣ
ΩΓΙΑ ΚΙΝΗΤΑ ΤΗΛΕΦ ΝΑ
Cardio
Buddy
by Azumio
Inc.
Instant Heart
Rate
by Azumio Inc.
Cardiio - Touchless Camera Pulse Sensor
by Cardiio Inc.
What's My Heart Rate
by ViTrox Technologies

30. ΒΙΒΛΙΟΓΡΑΦΙΑ
▪ Advancements in Noncontact, Multiparameter Physiological Measurements Using a Webcam (Ming-Zher Poh,
Daniel J. McDuff, and Rosalind W. Picard)
▪ Non-contact, automated cardiac pulse measurements using video imaging and blind source separation (Ming-
Zher Poh, Daniel J. McDuff and Rosalind W. Picard)
▪ Development of a new product for unrestrained heart rate measurement in swimming: a user centered design
approach (Vincent van Rooijena, Lenneke de Voogd-Claessena, Kristina Lauchea, Vincent Jeanneb, Roald van
der Vlietc)
▪ A Novel Method to Detect Heart Beat Rate Using a Mobile Phone (Pelegris P., Banitsas K., Orbach T., Marias K.)
▪ Development and Validation of a Smartphone Heart Rate Acquisition Application for Health Promotion and
Wellness Telehealth Applications (Mathew J. Gregoski, MartinaMueller, Alexey Vertegel, Aleksey Shaporev,
Brenda B. Jackson, RonjaM. Frenzel, Sara M. Sprehn, and Frank A. Treiber)
▪ http://www.azumio.com/apps/cardio-buddy-2
▪ http://www.azumio.com/apps/heart-rate
▪ http://www.whatsmyheartrate.com
▪ http://www.cardiio.com

31. ΩΣΑΣ ΕΥΧΑΡΙΣΤ
ΓΙΑ ΤΗΝ ΠΡΟΣΟΧΗ
!ΣΑΣ