Human-computer interaction hand movement recognition using inertial sensors
Final presentation of my Master's thesis project and results of conducted research. Temporarily presentation only in Polish. Human-computer interfaces are the key factor in our everyday use of modern consumer electronics and computers. Nowadays innovative physical interfaces change the way of using and thinking about electronic devices and make them more natural and direct by using movement. Human movement recognition offers interesting alternative for current mainstream standard in human computer-interaction model. However inertial sensors are more and more popular in consumer electronics one can think that their understanding is not completely following this popularity. In this paper two main aims were presented. First aim was to try whether it is possible to build modern and functional physical human-computer interface using only three inertial sensors: accelerometer, gyroscope and magnetometer. This aim is supposed to present real strengths and weaknesses of that technology and verify whether it is possible or not and what kind of information is possible to achieve. Second aim of the study is to create in a clear and systematic way a system architecture, which could, while universal in its structure, be used as a tool or framework in order to build many different kinds of physical human-computer interfaces based on three inertial sensors. In the study three different physical human-computer interfaces were designed using accelerometer, gyroscope and magnetometer. The first interface type is gyroscopic mouse allowing user to control the device with tilting a hand. Controlled device reacts on every angle change and pauses in movement. Second type of created interface is accelerometer tilt mouse. In this kind of interface controller device also reacts on hand tilt but using changes in Earth gravity direction so it is not reacting directly to changes in tilt angle and it is not reacting on pauses in hand movement. Third type is mouse based on sensor fusion mechanism incorporating signals from all three sensors. As a study reference point touchpad interface was also created. In order to fully verify created prototypes functionality more thorough usability test were conducted. Results of conducted interfaces tests were presented. In the project both aims were achieved. First of all, the question whether building functional interfaces using only accelerometer, gyroscope and magnetometer is possible, was answered. The answer was strongly positive what was proved by usability and functional tests conducted on implemented prototype interfaces. It is possible to create effective and interesting physical human-computer interfaces using those three inertial sensors. Secondly, according to specified methodology, step by step, movement analysis system based on data coming from accelerometer, gyroscope and magnetometer was created. Its functioning was tested both on level of individual system modules and on level of whole system.
Recomendados
Mais conteúdo relacionado
Destaque
Destaque (20)
Human-computer interaction hand movement recognition using inertial sensors
- 1. Michał Sznajder Promotor: dr hab. inż. Jakub Barbasz
- 2. Interfejs człowiek-komputer stanowi kluczowy element w codziennym użytku nowoczesnych urządzeń elektronicznych i komputerów.
- 3. Sprawdzenie czy w oparciu o akcelerometr, żyroskop i magnetometr możliwe jest zbudowanie nowoczesnego i funkcjonalnego fizycznego interfejsu człowiek-komputer. Opracowanie architektury systemu, który mógłby służyć do budowy wielu różnych rodzajów interfejsów fizycznych opierających się o przedstawiony zestaw sensorów fizycznych.
- 4. Tilt mouse Gyro mouse Sensor fusion mouse Touchpad
- 8. Akcelerometr + Żyroskop + Magnetometr Rezultat: dobrej jakości informacja o orientacji
- 9. 1 59 117 175 233 291 349 407 465 523 581 639 697 755 813 871 929 987 1045 1103 1161 1219 1277 1335 1393 1451 1509 1567 1625 1683 1741 1799 1857 1915 1973 2031 2089 2147 2205 2263 2321 2379 2437 2495 2553 2611 2669 2727 Przyspieszenie [m/s2] Sygnał akcelerometru podczas ruchu 15 10 5 0 -5 -10 Numer kolejnej próbki x y z
- 10. 1 59 117 175 233 291 349 407 465 523 581 639 697 755 813 871 929 987 1045 1103 1161 1219 1277 1335 1393 1451 1509 1567 1625 1683 1741 1799 1857 1915 1973 2031 2089 2147 2205 2263 2321 2379 2437 2495 2553 2611 2669 2727 Przyspieszenie [m/s2] Komponent grawitacyjny sygnału akcelerometru 12 10 8 6 4 2 0 -2 -4 Numer kolejnej próbki x y z
- 11. 1 59 117 175 233 291 349 407 465 523 581 639 697 755 813 871 929 987 1045 1103 1161 1219 1277 1335 1393 1451 1509 1567 1625 1683 1741 1799 1857 1915 1973 2031 2089 2147 2205 2263 2321 2379 2437 2495 2553 2611 2669 2727 Przyspieszenie [m/s2] Komponent przyspieszenia liniowego sygnału akcelerometru 15 10 5 0 -5 -10 -15 Numer kolejnej próbki x y z
- 12. 1 53 105 157 209 261 313 365 417 469 521 573 625 677 729 781 833 885 937 989 1041 1093 1145 1197 1249 1301 1353 1405 1457 1509 1561 1613 1665 1717 1769 1821 1873 1925 1977 2029 2081 2133 2185 2237 2289 2341 2393 2445 Przyspieszenie [m/s2] Komponent przyspieszenia liniowego systemu Android 15 10 5 0 -5 -10 -15 Numer kolejnej próbki x y z
- 13. 0,1 0 x -2000 -10000 Prędkokość [m/s] -0,2 1 11 21 31 41 51 61 71 81 91 101 111 121 131 141 151 161 171 181 191 201 211 -0,4 1 12 23 34 45 56 67 78 89 100 111 122 133 144 155 166 177 188 199 210 -0,1 Położenie [m] Przyspieszenie [m/s2] 0,2 -0,3 Numer kolejnej próbki x 20 10 0 -10 -20 -30 -40 -50 -60 -70 1 11 21 31 41 51 61 71 81 91 101 111 121 131 141 151 161 171 181 191 201 211 Przyspieszenie liniowe Prędkość Numer kolejnej próbki y x -4000 -6000 -8000 Numer kolejnej próbki y y Położenie 2000 0
- 14. Przyspieszenie liniowe Prędkość 0,6 6 0,4 2 0 -2 -4 -6 0 -0,2 -0,4 -0,6 -0,8 Numer kolejnej próbki y Numer kolejnej próbki x Położenie 0,12 0,1 0,08 0,06 0,04 0,02 0 -0,02 -0,04 1 7 13 19 25 31 37 43 49 55 61 67 73 79 85 91 97 x Położenie [m] -8 0,2 1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 76 81 86 91 96 Prędkość [m/s] 4 1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 76 81 86 91 96 Przyspieszenie [m/s2] 8 Numer kolejnej próbki x y y
- 15. Testy indywidualnych modułów systemu Testy użyteczności prototypowych interfejsów: Wprowadzanie tekstu za pomocą klawiatury ekranowej Pomiar dwóch parametrów: skuteczności użycia danego interfejsu oraz szybkości uczenia się jego obsługi
- 16. Numer próby 1 2 3 4 5 6 Średnia Tilt mouse Czas [s] 252 193 170 151 146 143 175,83 Znaków na sekundę 0,67 0,87 0,99 1,11 1,15 1,17 0,99 Gyro mouse Czas [s] 335 279 216 193 176 158 226,17 Znaków na sekundę 0,50 0,60 0,78 0,87 0,95 1,06 0,79 SF mouse Czas [s] 496 355 331 215 188 164 291,50 Znaków na sekundę 0,34 0,47 0,62 0,78 0,89 1,02 0,69 Mobile touchpad Czas [s] 214 205 177 164 150 146 176 Znaków na sekundę 0,79 0,82 0,95 1,02 1,12 1,15 0,98 Computer touchpad Czas [s] 153 163 148 152 143 137 149,33 Znaków na sekundę 1,09 1,03 1,14 1,1 1,17 1,22 1,13
- 17. Szybkość wprowadzania tekstu 1,4 1,2 Szybkość [znaki/s] 1 0,8 Tilt mouse Gyro mouse SF mouse 0,6 Mobile touchpad Standard touchpad 0,4 0,2 0 1 2 3 4 Numer kolejnej próby wprowadzania 5 6
- 18. W toku niniejszych badań zrealizowano oba postawione cele: Udzielono pozytywnej odpowiedzi w kwestii możliwości zbudowania funkcjonalnego interfejsu w oparciu o założony zestaw sensorów. Zrealizowano zgodnie z przyjętą metodologią, krok po kroku, system analizy ruchu działający w oparciu o dane z akcelerometru, żyroskopu i magnetometru.
- 19. Dodatkowo: W ramach niniejszej pracy powstały cztery w pełni funkcjonalne interfejsy człowiek-komputer. Uzyskano bogaty i relatywnie dokładny (biorąc pod uwagę wykorzystanie konsumenckiego sprzętu pomiarowego) opis ruchu dłoni. Stworzono efektywny mechanizm filtracji sygnału. Rozwinięto mechanizm sensor fusion w celu uzyskania dobrej jakości informacji o orientacji (rezultaty lepsze niż uzyskiwane przez mechanizmy zaimplementowane w systemie Android).
- 20. Możliwe zastosowania: Kontrolery gier Techniki augmented reality Interfejsy użytkownika Stabilizacja obrazu Urządzenia medyczne i kontrolery dla osób niepełnosprawnych (usuwanie i filtracja drgań)