Vuoden 2014 Mobiilikesäkoulun keitaan Kinect-toimintapisteen kättäpidempämänä pläjäys Kinectin hyödyntämisestä lisätyn ja virtuaalitodellisuuden tukena sekä näillä eväillä oppimisen ja osallistumisen apuna.

1. w w w . h a m k . f i
Kinect ja täydennetty todellisuus
Leena Koskimäki

2. w w w . h a m k . f i
3D-skannaus Kinectillä
• Voisiko olla apuna lisätyn todellisuuden 3D-mallien
tuottamisessa?
– Virtuaaliset, kolmiulotteiset mallit myös 3d-tulostettavissa
• Michael Weinberg tekijänoikeuksista:
http://www.publicknowledge.org/files/docs/3DPrintingPaperPublicKn
owledge.pdf
• Erilaisia skannaussovelluksia jo suhteellisen runsaasti
• Kinect verrattain edullinen väline – päivitetty versio
Kinect for Windows v2 julkaistaan virallisesti kesällä
2014.
• Jälkikäsittelyn tarve ja välineet vaihtelevat

3. w w w . h a m k . f i

4. w w w . h a m k . f i
3D-skannauksen menetelmissä
sovelluskohtaisia eroja
• Kinectiä liikutetaan objektin ympärillä, mm:
– Skanect http://skanect.occipital.com/
– Kinect Fusion http://research.microsoft.com/en-us/projects/surfacerecon/
– Artec http://www.artec3d.com/hardware/primesense/
– Kscan3d http://www.kscan3d.com/
– Scenect http://www.faro.com/faro-3d-app-center/stand-alone-apps/scenect
– ReconstructMe http://reconstructme.net/
• Objektia pyöritetään Kinectin edessä, mm:
– Fablitec http://www.fablitec.com/
– Volumental (Person on Chair) http://volumental.com/
– skannaus/3D-tulostuspalvelu Shapify.men sovelluksella
skannaus päästä varpaisiin: https://www.shapify.me/

5. w w w . h a m k . f i
Kuvankaappauksia 3D-skannaussovellusten
käyttöliittymistä – kokeilumetodina yritys ja erehdys.

6. w w w . h a m k . f i
3D-skannaus Kinectillä
• Osa softista skannaa sekä pysty- että vaakatasossa (mm.
Fablitec)
• Käyttöliittymät verrattain vaihtelevia
• Osa sisältää enemmän säätövaraa datan keräämiseen ja
muokkaamiseen ohjelman sisällä.
• Yksinkertainen sovellus ensimmäisiin kokeiluihin on mm. Skanect
• Esimerkiksi Kscan3d:ssä ja erityisesti Artecissa huomattavasti enemmän
säätövaraa haluttaessa
– Mm. Face Fusion tukee puheohjausta: http://facefusion.codeplex.com/
• 3D-mallien formaatit vaihtelevat, mm
.3ds, .fbx, .obj, .stl, .ply, ja .asc.
• Skannausalue kymmenestä senteistä metreihin.
• Sovellukset tukevat Kinectin lisäksi vaihtelevasti Asuksen
Xtion ja Primesensen Carmine –sensoreita.

7. w w w . h a m k . f i
Luonnollinen käyttöliittymä
virtuaalimaailmoissa
• FAAST emuloi mm. hiiren klikkauksia ja
näppäinkomentoja: http://govgrid.wordpress.com/2011/04/27/using-
faast-to-connect-kinect-with-slopensim/
– Mahdollistaa hahmon liikuttamisen virtuaaliympäristössä ja
mm. eleitä ja ilmeitä triggeröivien komentojen emuloinnin
• Rinionsilla voi ”siirtää”omat eleensä paikallaan
olevalle avattarelle:
http://www.nsl.tuis.ac.jp/xoops/modules/xpwiki/?Rinions
• CtrlAltDel- ja ACE-viewerohjelmissa avatarta voi
liikuttaa ympäristössä mm. kättä liikuttamalla
– http://ctrlaltstudio.com/viewer
– https://blogs.cs.st-andrews.ac.uk/openvirtualworlds/projects/ace/

8. w w w . h a m k . f i
Luonnollinen käyttöliittymä
virtuaalimaailmoissa
• Eleohjauksen tuki myös Unity- ja
RealXtend-pohjaisissa ympäristöissä
• Vielä ei (tiedossani) kokonaisvaltaista
ratkaisua, joka yhdistäisi
virtuaalimaailmassa hahmon
liikuttamiseen, hahmon eleet ja ilmeet
sekä mahdollisesti puheentunnistuksen –
mahdollistaisi syvemmän immersion
• 3D-skannattuja objekteja voi tuoda
sovelluksesta riippuen myös joihinkin
virtuaalitympäristöihin.
– Tulevaisuudessa mahdollista muokata näitä
vaikka yhteisöllisesti?
– Tällä hetkellä melko kokeellisella tasolla.

9. w w w . h a m k . f i
Luonnollinen
käyttöliittymä (NUI)
Eleohjattava virtuaalinen ja lisätty todellisuus
Uudet osallistumisen
mahdollisuudet?
Käyttöliittymän
ohjaamiseen ei
tarvita kädessä
pidettäviä laitteita
Eleohjaus ja
puheentunnistus
Lisätty todellisuus
Digitaalisen sisällön
tuominen ja luominen
ympäröivään tilaan
Kuinka tukea
käyttäjää tuomalla
ääntä ja
visuaalisia, virtuaalisi
a elementtejä
sovellukseen?
Visuaaliset, kokeelliset 3D-ympäristöt
Virtuaalitodellisuus
Simulaatiot
Uudet
kokemukset, aiempien
kokemusten
palauttaminen mieleen
Interaktio simulaation
kanssa. Spontaani
vuorovaikutuksen
kokemus käyttäjän omia
eleita ja ilmeitä
hyödyntäen.

10. w w w . h a m k . f i
Käyttökokemus
Osallistumisen ja oppimisen tukeminen:
Kinect-pilotit HAMKissa 2012-2014
Uppoutumisen
elämykset?
Koettiin
virkistävänä ja
erilaisena
toimintana
Toiminta
Aktiivisuus
”huomaamatta”
Kuinka saada
mahdollisimman
paljon irti
moniaistisuudesta?
Uudet elämykset yhdessä ja yksin
Pelitilanne
Sosiaalinen
tapahtuma
Pelillisyys koukuttaa
Kuinka ilmapiiri
vaikuttaa toimintaan?
Kannustaminen ja
onnistuminen
Kehollisuus

11. w w w . h a m k . f i
Kinect oppimisen tukena, esimerkkejä:
• Mirracle; anatomian tuntemus ja AR:
https://www.youtube.com/watch?v=jORsG8AG72I#t=123
• Berlin Kompass; kielten opetus, vuorovaikutus ja
virtuaalinen maisema:
https://www.youtube.com/watch?v=gyVntrJ-2N0
• Jumpido; kehollinen, yhteisöllinen tapa opetella
matematiikkaa pelillisesti:
https://www.youtube.com/watch?v=Gy8VnBx7eqA#t=21
• Aiemmin aiheesta:
http://www.slideshare.net/leenakoskimaki/liiketunnistin-kinect-
opetuskytss

12. w w w . h a m k . f i
Lisätietoa: www.hamk.fi/avo2