O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

Automatic detection of instruments in laparoscopic images

359 visualizações

Publicada em

Pattern Recognition I - University of Patras - Electrical and Computer Engineering

Publicada em: Tecnologia
  • Seja o primeiro a comentar

Automatic detection of instruments in laparoscopic images

  1. 1. Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου ΔΡΓΑ΢ΙΑ ΢ΣΟ ΜΑΘΗΜΑ “ΑΝΑΓΝΩΡΙ΢Η ΠΡΟΣΤΠΩΝ Ι” ΜΔ ΘΔΜΑ “AUTOMATIC DETECTION OF INSTRUMENTS IN LAPAROSCOPIC IMAGES” ΠΑΣΡΑ 2013 ΕΠΙΒΛΕΠΩΝ ΚΑΘΗΓΗΣΗ΢: Κ.ΔΤΑΓΓΔΛΟ΢ ΓΔΡΜΑΣΑ΢ ΤΛΟΠΟΙΗ΢Η: Κ.ΓΔΩΡΓΙΟ΢-ΜΑΡΙΟ΢ ΠΑΠΑΓΟΠΟΤΛΟ΢ Α.Μ: 227356 Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866 Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr
  2. 2. Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου ΠΕΡΙΕΥΟΜΕΝΑ 1. 2. 3. 4. 5. 6. 7. ΔΙ΢ΑΓΩΓΗ ΜΙΚΡΟΔΠΔΜΒΑΣΙΚΗ ΥΔΙΡΟΤΡΓΙΚΗ ΓΙΑΓΝΩ΢Η ΜΔ ΒΑ΢Η ΣΟ ΢ΗΜΔΙΟ ΣΟΜΗ΢ ΓΙΑΓΝΩ΢Η ΜΔ ΒΑ΢Η ΣΟ COLOR TRACKING ΓΙΑΓΝΩ΢Η ΠΟΛΛΑΠΛΩΝ ΜΗΥΑΝΗΜΑΣΩΝ SEGMENTATION ΒΙΒΛΙΟΓΡΑΦΙΑ Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866 Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr
  3. 3. Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου 1. ΔΙ΢ΑΓΩΓΗ Η παροφςα εργαςία ζγινε ςτα πλαίςια του μακιματοσ “Αναγνώριςη Προτφπων Ι” από τον κ. Γεϊργιο-Μάριο Παπαδόπουλο υπο τθν επίβλεψθ του κ.Ευάγγελου Δερματά. Αρχικά, να ευχαριςτιςω τον επιβλζποντα που μου ζδωςε τθ δυνατότθτα ο κεματικόσ άξονασ τθσ εργαςίασ μου να είναι ςυμβατόσ με το κζμα τθσ διπλωματικισ μου εργαςίασ. Στισ παρακάτω ςελίδεσ κα διαπραγματευτϊ τθν “Αυτόματη διάγνωςη των (ιατρικών) μηχανημάτων ςτισ λαπαροςκοπικζσ εικόνεσ”. Το περιεχόμενο τθσ εργαςίασ είναι αποτζλεςμα τθσ βιβλιογραφικισ αναηιτθςθσ που πραγματοποιικθκε για αρκετό διάςτθμα. Παρατθρικθκε ότι αρκετοί ερευνθτζσ (κυρίωσ από τθ Γαλλία, Αμερικι-Καλιφόρνια, Ιαπωνία και Γερμανία) ςτισ αρχζσ τθσ δεκαετίασ του 1990 με τθν ανάπτυξθ τθσ μικροεπεμβατικισ χειρουργικισ άρχιςαν να αςχολοφνται εκτενϊσ με τθν αυτόματθ διάγνωςθ των ιατρικϊν μθχανθμάτων από λαπαροςκοπικζσ εικόνεσ. Η ζρευνα γίνεται μζχρι και ςιμερα κακϊσ θ ανάπτυξθ νζων μεκόδων βοθκάει πολφ τθν περαιτζρω διερεφνθςθ του προβλιματοσ. Η πορεία που κα ακολουκθκεί παρακάτω είναι θ παρουςίαςθ τθσ μικροεπεμβατικισ χειρουργικισ και δθ τθσ λαπαροςκοπικισ και ςτθ ςυνζχεια οι μζκοδοι που μποροφν να χρθςιμοποιθκοφν για τθν εργαςία μου. Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866 Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr
  4. 4. Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου 2. ΜΙΚΡΟΔΠΔΜΒΑΣΙΚΗ ΥΔΙΡΟΤΡΓΙΚΗ Οι λαπαροςκοπικζσ επεμβάςεισ αποτελοφν κλάδο τθσ μικροεπεμβατικισ χειρουργικισ, θ οποία ζχει γνωρίςει τεράςτια άνκιςθ τα τελευταία 25 χρόνια. Πραγματοποιοφνται με τθ βοικεια μιασ κάμερασ και με λεπτά, άκαμπτα (ςυνικωσ) κοντά ιατρικά μθχανιματα. Στα πλεονεκτιματα τθσ ρομποτικισ λαπαροςκοπικισ χειρουργικισ είναι το μικρότερο τραφμα για τον αςκενι (μικρζσ τομζσ ςυνικωσ τρεισ ι τζςςερισ για πθγθ φωτόσ, κάμερα και τα χειρουργικά εργαλεία), λιγότερθ εκροι αίματοσ ,μικρότερθ παρουςία ςτο νοςοκομείο (23-25 ϊρεσ) και λιγότεροσ πόνοσ μετά τθν επζμβαςθ. Οι λαπαροςκοπικζσ επεμβάςεισ είναι αρκετά περίπλοκεσ και προχποκζτουν τθν εμπειρία του χειροφργου και 2-D εικόνεσ-αυτό ςθμαίνει ζλλειψθ depth-information κακϊσ θ επζμβαςθ και οι κινιςεισ του γίνονται ςε 3-D. Ο χειριςμόσ τθσ κάμερασ μπορεί να πραγματοποιθκεί είτε με τθ βοικεια του ανκρϊπινου παράγοντα είτε με αυτόματο τρόπο με χριςθ ρομποτικϊν βραχιόνων. Στα μειονεκτιματα τθσ πρϊτθσ μεκόδου είναι θ δυςκολία επικοινωνία χειροφργου και βοθκοφ, θ κοφραςθ κατά τθ διάρκεια τθσ επζμβαςθσ, το τρεμοφλιαςμα που είναι κρίςιμο ςε real-time και θ εμπειρία που απαίτειται να ζχει ο δεφτεροσ. Οπότε γίνεται εφκολα αντιλθπτό ότι με τθ χριςθ αυτόματθσ μεκόδου μποροφμε να υπερκεράςουμε αυτά τα εμπόδια. Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866 Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr
  5. 5. Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου 3. ΓΙΑΓΝΩ΢Η ΜΔ ΒΑ΢Η ΣΟ ΢ΗΜΔΙΟ ΣΟΜΗ΢ Σε αυτό το κεφάλαιο κα αναφερκοφμε ςε διάγνωςθ με βάςθ το ςθμείο τομισ για τθ λααροςκοπικι επζμβαςθ. Χρθςιμοποιϊντασ 3-D αναπαραςτάςεισ και κεωριςεισ ςχετικά με το ςχιμα μποροφμε να παρακολουκιςουμε και να διαγνϊςουμε τα ιατρικά μθχανιματα. Σε αυτι τθ μζκοδο δεν χρθςιμοποιείται κακόλου ςαν χαρακτθριςτικό το χρϊμα και θ επιρροι του ςτθν εικόνα, παραμονάχα το ςχιμα του μθχανιματοσ. Με αυτό τον τρόπο, γνωρίηοντασ το ςθμείο τομισ μειϊνουμε τθν πικανι περιοχι ενδιαφζροντασ (Region Of Interest – ROI) και αυξάνουμε τθν πικανότθτα να βροφμε πιο εφκολα το/α μθχανιμα/τα. Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866 Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr
  6. 6. Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου Προκειμζνου να παρακολουκιςει ο χειροφργοσ ζνα μθχάνθμα, το επιλζγει χρθςιμοποιϊντασ το ςθμείο τομισ. Η 3-D απεικόνιςθ τθσ εικόνασ προβάλλεται ςτο πλάνο τθσ εικόνασ για να ψάξει ο χειροφργοσ για το μθχάνθμα. Ο αλγόρικμοσ που χρθςιμοποιείται είναι ο παρακάτω: Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866 Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr
  7. 7. Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου Ψάχνουμε ςτθν εικόνα για ςτοιχεία ςτισ γραμμζσ (l1 και l2) τα οποία ανικουν ςτα ιατρικά μθχανιματα. Για να βροφμε τισ ακμζσ χρθςιμοποιοφμε gradient μζκοδο ςφμφωνα με το οποίο υπολογίηουμε το gradient για κάκε ςθμείο ςτο επίπεδο τθσ εικόνασ. Στθ ςυνζχεια κρατάμε το μζγιςτο από το gradient τα οποία μασ δίνουν αςυνζχειεσ ςτθν εικόνα και κρατάμε το μζτρο και τθν κατεφκυνςθ αυτϊν των gradient. Αυτά τα ςθμεία είναι οι ακμζσ. Αφοφ ζχουμε βρει τισ ακμζσ διϊχνουμε τα ςθμεία τα οποία δεν ανικουν ςτο μθχάνθμα και κολϊνουν τθν εικόνα. Για να γίνει κατανοθτό το παραπάνω , κεωροφμε ζνα διάςτθμα ςτο οποίο αν βρίςκεται εκεί μζςα το gradient αποτελεί ςθμείο δεκτό αλλιϊσ το απορρίπτουμε από τθν εικόνα μασ. Μετά με βάςθ τα ςτοιχεία που ζχουν επιλεγεί, βρίςκουμε τον άξονα, το tip (άκρθ του μθχανιματοσ) και τισ άκρεσ του μθχανιματοσ. Για να βροφμε τον άξονα του μθχανιματοσ χρθςιμοποιοφμε τον αλγόρικμο του Hough. Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866 Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr
  8. 8. Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου Οι δυο edges Ι1,Ι2 ζχουν gradients G1,G2 και παρζχουν μζςω τθσ μεςοκακζτου τον άξονα d του μθχανιματοσ. Ο άξονασ χαρακτθρίηεται από δυο μεταβλθτζσ τισ (ρ,κ) οι οποίεσ είναι αυτζσ τθσ Hough Method με κζντρο το P. Αν τα παραπάνω Gradients ζχουν αντίκετεσ κατευκφνςεισ τότε μποροφν να αποτελοφν edges ενόσ μθχανιματοσ, αλλιϊσ δεν γίνεται. Ωςτόςο, αν γνωρίηουμε τισ edges δεν ζχουμε τελειϊςει τθ διαδικαςία μασ αφοφ χρειάηεται να δοφμε που ακριβϊσ είναι το tip του μθχανιματοσ για να ςτρίψουμε τθν κάμερα ςτθν κατάλλθλθ κατεφκυνςθ. Πάρα πολλοί ερευνθτζσ προςπάκθςαν να διαγνϊςουν το tip του μθχανιματοσ με χριςθ πλθροφοριϊν χρϊματοσ. Προςπάκθςαν, δθλαδι, να ταξινομιςουν τα χρϊματα που εφριςκαν ςτο τζλοσ του symmetry axis ςε δυο κατθγορίεσ. Σε μεν αυτά του background τθσ εικόνασ και ςε αυτά του μθχανιματοσ. Ωςτόςο αυτι θ μζκοδοσ αποτφγχανε ςυχνά εξαιτίασ των αποφράξεων και των ανακλάςεων του φωτόσ (τα μθχανιματα είναι από μζταλλο και εξαιτίασ του φωτόσ που ρίχνουμε, ζχουμε ανακλάςεισ). Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866 Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr
  9. 9. Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου Στο τζλοσ, αφοφ ζχουμε καταφζρει να διαγνϊςουμε το tip του μθχανιματοσ αποκθκεφουμε τθ ηϊνθ με τα χρϊματα του background και με αυτά του instrument για μελλοντικό tracking και detection. Επίςθσ, μζςω των γωνιϊν των edges μποροφμε να βροφμε το depth του tip για μεγαλφτερθ ακρίβεια. Στα πλεονεκτιματα τθσ μεκόδου είναι ότι είναι αποτελεςματικι ςτθ χριςθ CO2 που χρθςιμοποιείται για να φουςκϊςει θ περιοχι και να βοθκιςει το χειροφργο ςτθν επζμβαςθ. Επίςθσ, όταν ζχουμε ςτθν εικόνα παραπάνω από ζνα μθχανιματα βλζπουμε ότι θ μζκοδοσ παρουςιάηει εξαιρετικά αποτελζςματα. Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866 Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr
  10. 10. Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου Στα μειονεκτιματα τθσ είναι θ δυςκολία διάγνωςθσ όταν το tip είναι μαφρου χρϊματοσ. Επίςθσ, αποτυγχάνει όταν ζχουμε υψθλζσ ταχφτθτεσ κίνθςθσ του χειροφργου (ςυνίςταται για smooth tracking) και όταν ζχουμε reflections και occlusions όπου και ο άξονασ δεν μπορεί να διαγνωςτεί επιτυχϊσ. Τζλοσ, αν το χρϊμα του μθχανιματοσ είναι πολφ ςυναφζσ ςε αυτό του background τότε ο αλγόρικμοσ παρουςιάηει προβλιματα. 4. ΓΙΑΓΝΩ΢Η ΜΔ ΒΑ΢Η ΣΟ COLOR TRACKING Πολλοί ερευνθτζσ προςπάκθςαν να διαγνϊςουν τθν φπαρξθ ιατρικϊν μθχανθμάτων καταςκευάηοντασ ςυςκευζσ που ζκαναν color tracking. Μια τζτοια αυτο-οδθγοφμενθ ρομποτικι κάμερα που καταςκευάςτθκε το 1999 βαςιςμζνθ ςε ςφςτθμα παρακολοφκθςθσ χρϊματοσ ιταν το SGRCCS και χρθςιμοποιικθκε για να διαπιςτωκεί αν πράγματι τα ρομπότ μποροφν ςε αυτό το κομμάτι να αντικαταςτιςουν τον άνκρωπο (ςυνζκριναν δθλαδι τισ επιδόςεισ ανκρϊπου-μθχανισ ςε 20 επεμβάςεισ χολισ). Το αποτζλεςμα ιταν ςε 71% των περιπτϊςεων το ρομπότ να ζχει καλφτερεσ επιδόςεισ από τον άνκρωπο. Επίςθσ, ο χρόνοσ που χρειαηόταν να προετοιμαςτεί ο άνκρωποσ για τθν επζμβαςθ ιταν διπλάςιοσ ςε ςχζςθ με το ρομπότ (setup time). O τρόποσ λειτουργείασ του ρομπότ βαςίηεται ςτο γεγονόσ ότι ςτθν άκρθ του ιατρικοφ μθχανιματοσ ζχουμε βάλει ζνα color marker το οποίο και παρακολουκεία αυτόματα το ρομποτ και δίνει τθ δυνατότθτα ςτο χειροφργο να παρακολουκεί ςυνεχϊσ και εφκολα το εργαλείο του χωρίσ να χρειάηεται να δίνει εντολζσ. Το ςφςτθμα μασ δθλαδι αποτελζιται από το ιατρικό μθχάνθμα το οποίο ζχει ζνα color marker (10mm μικουσ χρωματιςτό πλαςτικό) ςτθν άκρθ του και τθ μονάδα που περιλαμβάνει Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866 Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr
  11. 11. Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου τθν κάμερα. Αναλφοντασ τθν κατανομι των χρωμάτων παρατθρικθκε ότι ιταν διαφορετικι όταν είχε προςτεκεί ζνασ color marker. Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866 Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr
  12. 12. Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου To ρομπότ αποτελείται από ζνα CCD-stereo-laparoscope, το οποίο παρζχει απευκείασ εικόνεσ ςτο χειροφργο. Αυτζσ οι εικόνεσ παρζχουν οριηόντια και κάκετα πλθροφορίεσ για το που βρίςκεται το ιατρικό μασ μθχάνθμα με βάςθ το color marker. Αυτζσ οι εικόνεσ ζχουν RGB signals. Ωςτόςο, επειδι θ HSV (hue-saturation value) αναπαράςταςθ είναι πιο εφαρμοςμζνθ για κατάτμθςθ χρϊματοσ απ’ότι θ RGB, τα ςιματα μετατρζπονται ςε αυτι με ζνα μετατροπζα. Στθ ςυνζχεια με ζνα δυαδικό ταξινομθτι, τα κατθγοριοποιϊ ςε αυτά του background και ςε αυτά του ιατρικοφ μθχανιματοσ (άςπρα και μαφρα αντίςτοιχα). Μετά κακορίηω με ζνα localizer τθν περιοχι ενδιαφζροντοσ (Region Of Interest – ROI). Επειδι, ςτισ περιςςότερεσ επεμβάςεισ λαμβάνονται εικόνεσ ανα τακτά χρονικά διαςτιματα πχ 120 msec χρθςιμοποιοφνται αλγόρικμοι οι οποίοι μποροφν με βάςθ τθν προθγοφμενθ κζςθ του βραχίονα να κακορίςουν τθν επόμενθ. Οπότε, ςτον αλγόρικμο κατάτμθςθσ μποροφμε ςαν επιβεβαίωςθ να χρθςιμοποιιςουμε τθν μελλοντικι πικανι κζςθ του ρομπότ. 5. ΓΙΑΓΝΩ΢Η ΠΟΛΛΑΠΛΩΝ ΜΗΥΑΝΗΜΑΣΩΝ Στο παρϊν χωρίο, παρουςίαηεται θ ζρευνα που διεξιχκει τον τελευταίο χρόνο ςχετικά με τθν αναγνϊριςθ πολλαπλϊν ιατρικϊν μθχανθμάτων ςε μια λαπαροςκοπικι εικόνα. Χρθςιμοποιοφνται ςυνδυαςμόσ τεχνικϊν υπολογιςτικισ όραςθσ, οι οποίεσ περιλαμβάνουν ταξινόμθςθ μεταλλικϊν ιδιοτιτων χρθςιμοποιϊντασ τον αλγόρικμο kmeans και παρακολοφκθςθ τθσ κίνθςθσ των μθχανθμάτων με μετριςεισ ομοιότθτασ, υπολογιςμοφσ Ευκλείδιασ απόςταςθσ και τον αλγόρικμο του φίλτρου Kalman. Ο προτινόμενοσ αλγόρικμοσ εκτελείται ςε τρια βιματα: i. Διάγνωςθ των μθχανθμάτων χρθςιμοποιϊντασ τισ μεταλλικζσ ιδιότθτεσ Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866 Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr
  13. 13. Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου ii. Παρακολοφκθςθ των μθχανθμάτων με μετριςεισ ομοιότθτασ ςυνεχόμενων εικόνων και ζνα προςαρμοςτικό φίλτρο. iii. Ζνα ςιμα κινδφνου βαςιςμζνο ςτον υπολογιςμό τθσ Ευκλείδιασ απόςταςθσ. Παρακάτω αναλφουμε ζνα-ζνα τα βιματα του ελγορίκμου: i. Διάγνωςη των μηχανημάτων Χρθςιμοποιοφμε διαφορετικοφσ χρωματιςμοφσ για τα όργανα και για τα μθχανιματα. Κάτω από κανονικζσ ςυνκικεσ φωτιςμοφ, τα ιατρικά μθχανιματα ζχουν χρωματιςμοφσ με μεταλλικά χαρακτθριςτικά όπωσ το γκρι χρϊμα. Χρθςιμοποιϊντασ τον αλγόρικμο του k-means, εκτελοφμε τθν ταξινόμθςθ μασ ςτα διάφορα αντικείμενα τθσ εικόνασ. Με αυτι τθ μζκοδο ζχουμε τα καλφτερα αποτελζςματα όταν θ εικόνα μετατρζπεται ςε LAB space όπου L=φωτιςμόσ, και Α,Β τα άλλα δυο κανάλια χρωμάτων. Στθ ςυνζχεια εφαρμόηουμε μια ςειρά από εφαρμογζσ επεξεργαςίασ εικόνασ για να διϊξουμε το κόρυβο του background όπωσ ο αλγόρικμοσ του Canny (canny edge detection) για να ορίςουμε τα άκρα. ii. Παρακολοφθηςη των μηχανημάτων Αρχικά αφοφ ζχουμε βρει ςτθν πρϊτθ μασ εικόνα ζνα μθχάνθμα, το κζτουμε ςαν “new”. Στισ επόμενεσ εικόνεσ, αν το ξαναζχουμε το βάηουμε “updated”, ενϊ όταν το χάνουμε από τθν είκονα εμφανίηεται ζνα “lost”. Στθ ςυνζχεια, με το φίλτρο Kalman μποροφμε να διϊξουμε τα λάκθ που μπορεί να οφείλονται ςε occlusions. Με το φίλτρο αυτό, και με τθν ευκλείδια απόςταςθ ανάμεςα ςτθν προθγοφμενθ και τθν τωρινι εικόνα των μθχανθμάτων μποροφμε να διορκϊςουμε λάκθ ι και να τα αποφφγουμε. iii. Σήμα κινδφνου Όταν ζχουμε περιςςότερα του ενόσ μθχανιματα ςε μια εικόνα παρουςιάηεται ο κίνδυνοσ να υπάρξει collision μεταξφ τουσ και να δθμιουργθκοφν επιπλοκζσ ςτο χειρουργείο. Με τθν ευκλείδια απόςταςθ, κεωρϊντασ μια περιοχι κινδφνου (Region of Danger) μποροφμε να Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866 Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr
  14. 14. Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου υπολογίςουμε τθν απόςταςθ των μθχανθμάτων και να προειδοποιιςουμε τον χειροφργο όταν ειςζλκει ςε αυτι τθν περιοχι ϊςτε να τθν αποφφγει. 6. SEGMENTATION Μια άλλθ μζκοδοσ που χρθςιμοποιικθκε από πολλοφσ ερευνθτζσ ιταν θ μζκοδοσ τθσ κατάτμθςθσ (Segmentation). Ο αλγόρικμοσ που χρθςιμοποιικθκε είναι ο ακόλουκοσ και περιλαμβάνει τρεια βιματα: i) Αρχικά οι εικόνεσ προ-επεξεργάηονται με ζνα homomorphic φίλτρο (είναι απαραίτθτο λόγο τθσ μεγάλθσ ποικιλίασ ςε lighting and focusing conditions). ii) Η ζξοδοσ του παραπάνω φίλτρου χρθςιμοποιείται για να υπολογιςτεί ο αρχικόσ χάρτθσ κατάτμθςθσ (initial segmentation map). ii) Οι περιοχζσ ταξινομοφνται ςαν να είναι μζροσ του background (δομζσ του ςϊματοσ – anatomical structures) ι του ιατρικοφ μθχανιματοσ- classification. Στθ ςυνζχεια αναλφονται τα παραπάνω τρεια βιματα του αλγορίκμου: i. Pre-processing - Homomorphic Φίλτρο Τα Homomorphic Φίλτρα επιλζχτθκαν επειδι ταιριάηουν καλά ςτα προβλιματα φωτιςμοφ που αντιμετωπίηουμε ςτα λαπαροςκοπικά χειρουργεία. Η βαςικι ιδζα ενόσ τζτοιου φίλτρου είναι να το φανταςτοφμε ςαν το γινόμενο δυο ςθμάτων: ενόσ φωτιςμοφ και μιασ ανακλάςεωσ. ii. Segmentation Map H δθμιουργία αυτοφ του χάρτθ ζχει ςαν ςκοπό να βοθκιςει ςτθ ςυνζχεια να δθμιουργιςουμε περιοχζσ που ανικουν ςτο background και άλλεσ που ανικουν ςτο μθχάνθμα. Επειδι κζλουμε να ζχουμε πλιρθ Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866 Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr
  15. 15. Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου αυτοματοποίθςθ τθσ μεκόδου δεν εξετάηουμε μεκόδουσ που χρθςιμοποιοφν αρχικοποιιςεισ. Με αυτό τον τρόπο χρθςιμοποιοφμε τα κριτιρια JSEG για να κάνουμε ζναν αρχικό χάρτθ κατάτμθςθσ. Διαλζγουμε ζνα κατϊφλι (threshold) tq που ελζγχει τθν κβαντοποίθςθ των χρωμάτων, τον αρικμό των κλιμάκων ns (scales) που χρθςιμοποιοφνται και ζνα άλλο κατϊφλι (threshold) tm που χρθςιμοποιεί το διαμοιραςμό επεξεργαςίασ τθσ περιοχισ. iii. Classification Για να ταξινομιςουμε τισ περιοχζσ που βρζκθκαν από τον αρχικό χάρτθ κατάτμθςθσ χρθςιμοποιοφμε ςαν μζκοδο ταξινόμθςθσ Support Vector Machines (SVM). Επιλζχτθκαν τα SVM γιατί ελαχιςτοποιοφν ζνα bound ςτο δομικό ρίςκο (structural risk) – θ πικανότθτα κακισ ταξινόμθςθσ δεδομζνων που δεν ζχουμε λάβει υπόψθν αντι του εμπειρικοφ ρίςκου (κακι ταξινόμθςθ ςτα παραδείγματα εκπαίδευςθσ – training set). Επίςθσ, κα μποροφςαν να χρθςιμοποιθκοφν αλγόρικμοι μθγραμμικοί όπωσ ο K-NN και τα Νευρωνικά Δίκτυα (Neural Networks). Τα χαρακτθριςτικά που επιλζγονται για τθν περιοχι ταξινόμθςθσ είναι βαςιςμζνα ςτθ γεωμετρία τθσ περιοχισ και ςτθν κατανομι των χρωμάτων. Είναι επικυμθτό αλλά και χριςιμο να χρθςιμοποιθκοφν γεωμετρικά χαρακτθριςτικά επειδι ο φωτιςμόσ, θ γεωμετρία και τα υλικά καταςκευισ των μθχανθμάτων ςυχνά δθμιουργοφν αναγνωρίςιμα ςχιματα περιοχϊν. Η εκπαίδευςθ πραγματοποιικθκε χρθςιμοποιϊντασ ςαν training set τα δυο τρίτα τθσ εικόνασ και το υπόλοιπο για ζνα τρίτο για testing. H κατανομι των επιλεγμζνων χαρακτθριςτικϊν κάνει τθν γραμμικι ταξινόμθςθ δφςκολθ. Στα μεινοκτιματα τθσ μεκόδου είναι ότι και ςε αυτι τθν περίπτωςθ τα cluttered backgrounds, occlusions, ανακλάςεισ και θ αναλογία saturated pixels που παρουςιάηονται ςτισ εικόνεσ κατά τθ διάρκεια πραγματικϊν λαπαροςκοπικϊν χειρουργείων προκάλεςαν χαμθλισ ποιότθτασ αρχικοφσ χάρτεσ κατάτμθςθ που αποτφγχαναν να κάνουν ταξινόμθςθ. Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866 Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr
  16. 16. Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου 7. ΒΙΒΛΙΟΓΡΑΦΙΑ 1. Sandrine Voros, Jean-Alexandre Long and Philippe Cinquin (2007). Automatic Detection of Instruments in Laparoscopic Images: A First Step Towards High-level Command of Robotic Endoscopic Holders 2. Sandrine Voros, Jean-Alexandre Long and Philippe Cinquin (2006). Automatic Localization of Laparoscopic Instruments for the Visual Servoing of an Endoscopic Camera Holder 3. Jonathan Boisvert, Farida Cheriet and Guy Grimard (2003). Segmentation of Laparoscopic Images for Computed Assisted Surgery 4. Joan Climent and Pere Mares (2004). Automatic Instrument localization in laparoscopic surgery 5. Christophe Doignon, Florenta Nageotte and Michel de Mathelin (2006). The role of Insertion Points in the Detection and Positioning of Instruments in Laparoscopy for Robotic Tasks 6. Kazuhito Omote, Hubertus Feussner, Andreas Ungeheuer, Klaus Arbter, Guo-Qing Wei,and Rudiger Siewert and Gerd Hirzinger (1999). Self-Guided Robotic Camera Control for Laparoscopic Surgery Compared with Human Camera Control. 7. Jiwon Ryu, Jaesson Choi and Hee Chan Kim (2012). Endoscopic VisionBased Tracking of Multiple Surgical Instruments During Robot-Assisted Surgery. Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866 Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr

×