Johdatus liikeohjaintunnistin Kinectin toimintaan - haasteet ja mahdollisuudet opetuskäytössä

1. Liikeohjaintunnistin Kinectin
hyödyntäminen opetuksessa
Leena Koskimäki ja Timo Niemelä
HAMK
www.hamk.fi

2. Työpajan sisältö
• Johdanto liiketunnistukseen
– Kinectin toimintaperiaatteet
• Pelaaminen Kinectillä
• Jatkosovellukset
– Kaupallinen toiminta
– Open source
• Opetus ja oppiminen
• Tulevaisuus
www.hamk.fi

3. Liiketunnistus ja teknologia
www.hamk.fi

4. Nintendo Wii
• Wii Remote –ohjain toimii osoitusperiaatteella
– Tunnistaa infrapunan avulla kolmiulotteisen tilan
• Bluetooth
• Näppäimet ja kiihtyvyysanturi
• Sisäänrakennettu kaiutin ja tärinäominaisuus
– Julkistettiin marraskuussa 2006
– myynyt yli 95 miljoonaa kappaletta
• Käytännössä käynnisti valtavalla menestyksellään liike-
ohjattavien pelien buumin
www.hamk.fi

5. Playstation Move
• Myynti alkoi syksyllä 2010
• 9 miljoonaa myytyä ohjainta
• Playstation Eye-kamera
• Liiketunnistuksen taustalla:
– kolmiakselinen gyroskooppi
– kolmiakselinen kiihtyvyysmittari
– magneettikenttäanturi
– väriään vaihtava pallo, jota PlayStation Eye -
kamera seuraa.
www.hamk.fi

6. Kinect
• Liikeohjain Xbox 360-pelikonsolille
– Julkaistiin marraskuussa 2010 Pohjois-Amerikassa ja Euroopassa
• Laitetta myytiin ensimmäisen 60 päivän aikana 8 miljoonaa
kappaletta
• Tammikuun 2012 lopulla myyty jo yli 18 miljoonaa kappaletta
www.hamk.fi

7. Teknologia
• Tunnistinsensori
– RGB-videokamera
• Kasvojen tunnistukseen ja videopuheluihin
• Resoluutio 640 × 480 pikseliä
– laserpisteprojektori
– mustavalkoinen CMOS-kamera
• kolmiulotteisuuden havainnointi
– 4 mikrofonia
– moottorit jalustassa
• kallistamista varten (kääntöaste 27 astetta)
• Kolmiulotteisen tilan ja pelaajan havainnointi perustuu laitteen lähettämään
infrapunasäteilyn alueella toimivaan laserpistekuvioon.
• Skeletal tracking – syvyysdatan ja algoritmien avulla laite laskee kehosi ulottuvuudet
• Kinect muodostaa syvyyskartan pisteistä ja laite pystyy tunnistamaan kuvasta kaukana
ja lähellä olevat kohteet.
• Minimikäyttöetäisyys 1,8 metriä, vaatii tilaa n. 6 neliömetriä
www.hamk.fi

8. www.hamk.fi

9. Kinect Xboxilla
www.hamk.fi

10. Pelit
• Toistaiseksi valikoima painottunut liikunta-
ja ns. koko perheen peleihin
– Vähitellen osattu alkaa hyödyntämään
Kinectin ominaisuuksia tehokkaammin
• Jatkossa Kinect osana muuta
pelaamiskokemusta
www.hamk.fi

11. Seuraava askel
• Yleisö alkoi pian kehittämään omia laiteajureita ja sovelluksia sekä
kehitystyökaluja
• Microsoft reagoi aluksi negatiivisesti, mutta tarkisti kantaansa
myöhemmin.
– Viralliset julkaisut: Software Development Kit
• Beta 1 ja päivitetty Beta 2
www.hamk.fi

12. Kinect Effect ja uudet
mahdollisuudet
• Pelaaminen
• Flying with Kinect – Avaglide
• Verkko-ostaminen
– Microsoft Kinect and Virtual Fitting Room Demo
• Taide
– Lambent Gambol
• Lääketiede
– Gesture Surgery - Kinect Hacks
www.hamk.fi

13. Kinect Effect ja uudet
mahdollisuudet
• Käyttöliittymät
– KinEmote Control Windows Media Center, Boxee,
XBMC & more Microsoft Kinect
– Kodin valaistus
• Kuntoutus
• Teollisuus
www.hamk.fi

14. Opetus ja oppiminen
www.hamk.fi

15. Kinectin mahdollisuudet opetuskäytössä –
esimerkkejä
• Augmented Reality Magic Mirror using Kinect
• KinectME
• Google Earth & FAAST
• Teaching Math With the Kinect
• American Sign Language Recognition using
Kinect Skeleton features
• DaVinci prototype on Xbox Kinect
www.hamk.fi

16. Kinectin hyödyt opetuksessa
• Edullisuus: Xbox-sensori maksaa keskimäärin 149 dollaria
• Erilainen tapa oppia ja opettaa
• Yhteistyö: Mahdollisuus useamman käyttäjän yhteiseen toimintaan
– Myös muiden palaute toiminnan tukena ja vaikuttajana
• Lisätyn todellisuuden hyödyntäminen
• Robotiikka tai virtuaalinen/lisätyn todellisuuden oppimistilanne
• Ilmaiset työkalut joilla luoda sovelluksia juuri omaan tarpeeseen
– Avoin ilmapiiri omien tuotosten jakamiselle
• Teknologian juurruttaminen
• Pelaamisen konseptin laajeneminen
www.hamk.fi

17. Haasteet
• Fyysisen tilan vaatimukset – muutos opiskelutiloissa?
• Ohjelmat saattavat käynnistyä ja kalibroitua hitaasti
• Etäisyys sensoriin
• Viive liikkeen näkymisessä näytöllä
• Liikkeistä ei saa palautetta (ei vastavoimaa), ei tukea
kädelle
• Eri SDK-versiot ja ajurit: ei yhtä standardia
– Kaupallisten ratkaisujen puuttuminen
• Teknologia jää itseisarvoksi
• Mullistus oppimisen ja opetuksen kulttuurissa
www.hamk.fi

18. Kinect for Windows
• Helmikuussa 2012 julkaistiin nimenomaan PC-käyttöön tarkoitettu
Kinect for Windows -versio päivitetyllä liiketunnistimella.
– Objektien tunnistaminen 40 cm päästä
– 1-4 Kinect-sensoria samassa tietokoneessa
– Tehokkaampi skeletal tracking
– Tarkempi puheentunnistus (Microsoft Speech -komponentit)
– Päivitetty SDK ja kaupallinen sovellus loppukäyttäjille
www.hamk.fi

19. Mitä seuraavaksi?
www.hamk.fi