Defense Masterthesis, Technische Universität Graz, November 2017

1. u www.tugraz.at
W I S S E N n T E C H N I K n L E I D E N S C H A F T
1x1 Trainer mit
Handschrifterkennung
22.11.2017
Institute of Interactive Systems and Data
Michael Rabko, BSc
1

2. Agenda
§ Einleitung
§ 1x1 Trainer
§ Evaluation
§ Ergebnisse
§ Zusammenfassung und Ausblick
1x1 Trainer mit Handschrifterkennung
22.11.2017
Michael Rabko
2

3. Einleitung
Einleitung
22.11.2017
Michael Rabko
3

4. Forschungsfragen
§ Wie reagieren Kinder auf die interaktive Eingabe mit ihrer
Handschrift?
§ Wie wirkt sich das auf die Usability der Applikation aus?
§ Bewährt sich dieser intuitive Einsatz einer
Handschrifterkennung gegenüber einer herkömmlichen
Ziffernblockeingabe?
Einleitung
22.11.2017
Michael Rabko
4

5. 1x1 Trainer
1x1 Trainer
22.11.2017
Michael Rabko
5

6. Technologien
§ Mobiles Betriebssystem iOS
§ Swift
§ “Simple Object Access Protocol“ (SOAP)
§ Convolutional Neural Network (CNN)
§ Learning Analytics - Algorithmus
1x1 Trainer
22.11.2017
Michael Rabko
6

7. Algorithmus
§ Learning Analytics
§ Auswahl der Rechenaufgaben
§ Lernfähigkeit
§ Vortest
§ Klassifizierung der Fragen
§ Nicht gekonnt
§ Gekonnt
§ Gut gekonnt
1x1 Trainer
22.11.2017
Michael Rabko
7
Quelle: Schön et al.,2012

8. Handschrifterkennung - Teil 1
§ Convolutional Neural Network (CNN)
§ Feed-Forward Neuronales Netz
§ Besondere Struktur
1x1 Trainer
22.11.2017
Michael Rabko
8
Quelle: Bishop, 2006

9. Handschrifterkennung - Teil 2
§ Convolutional Schicht
§ Max-Pooling Schicht
§ Vollständig verbundene Schicht
1x1 Trainer
22.11.2017
Michael Rabko
9
Quelle: Peemen et al.,2011

10. Handschrifterkennung - Teil 3
§ Training
§ TensorFlow
§ MNIST Datenbank
§ Anwendung
§ „Basic neural network subroutines“ (BNNS)
- Apple‘s Neural Network API
1x1 Trainer
22.11.2017
Michael Rabko
10

11. Spielmodi
§ TRAINER
§ Online - Benutzerkonto
§ 20 Fragen
§ Server bzw. Algorithmus ermittelt Rechenaufgaben
§ Lernfortschritt wird gespeichert
§ KURZSPIEL
§ Offline
§ Auswahl von zufälligen Rechenaufgaben
1x1 Trainer
22.11.2017
Michael Rabko
11

12. User Interface
1x1 Trainer
22.11.2017
Michael Rabko
12
Haupt-Screen Anleitung-Screen
Spiel-Screen Ergebnis-Screen

13. Evaluation
Evaluation
22.11.2017
Michael Rabko
13

14. Aufbau
§ iPad-Klasse der Volksschule Graz-Hirten
§ 20 Kinder
§ 7 iPads
§ Aufteilung in 3 Gruppen
§ 15 Minuten Spielzeit
§ Keine Spielerklärung
Evaluation
22.11.2017
Michael Rabko
14

15. Durchführung
§ Anschließend Befragung in kleineren Gruppen
§ Jede Gruppe 4 Fragen
§ 5 Smileys als Hilfestellung
Evaluation
22.11.2017
Michael Rabko
15

16. Fragen
1. Das Spiel hat mir gefallen.
2. Ich habe mich gleich im Spiel zurechtgefunden.
3. Mit dem Finger die Zahlen zu schreiben, macht mir
Spaß.
4. Ich würde den „1x1 Trainer“ auch zu Hause spielen.
Evaluation
22.11.2017
Michael Rabko
16

17. Smileys
Sehr gut / Ja auf alle Fälle
Gut / Ja denke schon
Normal / Naja ich bin mir nicht sicher
Schlecht / Nein eher nicht
Sehr schlecht / Nein auf keinen Fall
Evaluation
22.11.2017
Michael Rabko
17

18. Ergebnisse
Ergebnisse
22.11.2017
Michael Rabko
18

19. Auswertung
§ Evaluation verlief ohne große Probleme
§ Positives Feedback
§ Dennoch einige Probleme…
Ergebnisse
22.11.2017
Michael Rabko
19

20. Auswertung - Probleme
§ Erkennung der Handschrift
§ Spielstart
§ Anmeldung im Trainer-Modus
§ Einstelliges Ergebnis
Ergebnisse
22.11.2017
Michael Rabko
20

21. Zusammenfassung und
Ausblick
Zusammenfassung und Ausblick
22.11.2017
Michael Rabko
21

22. Zusammenfassung
§ Großes Potenzial von Handschrifterkennung
§ Kinder hatten viel Freude, die Zahlen mit dem Finger zu
schreiben
§ Geteilte Meinung, ob Handschrift- oder
Ziffernblockeingabe
§ Erkennungsfehler wirkt sich negativ auf Motivation aus
§ Positiver Nebeneffekt
§ Kinder versuchen schöner zu schreiben
Zusammenfassung und Ausblick
22.11.2017
Michael Rabko
22

23. Ausblick
§ Algorithmus-Vortest durchführen
§ Handschrifterkennung verbessern
§ Spielerklärung besser formulieren
§ Gamification-Elemente
§ Spielmotivation hoch zu halten
Zusammenfassung und Ausblick
22.11.2017
Michael Rabko
23

24. Vielen Dank für Ihre
Aufmerksamkeit
Fragen?
Ende
22.11.2017
Michael Rabko
24

25. Literatur
• Peemen, Maurice, Bart Mesman und Henk Corporaal (2011).Speed signdetection and recognition
by convolutional neural networks. In: Proceedings of the 8th International Automotive Congress,
S.162–170.
• Schön, Martin, Martin Ebner und Georg Kothmeier (2012). It’s Just About Learning the
Multiplication Table. In: Proceedings of the 2Nd International Conference on Learning Analytics
and Knowledge. LAK ’12. Vancouver, British Columbia, Canada: ACM, S.73–81. isbn:
978-1-4503-11113. doi: 10.1145/2330601.
• Bishop, Christopher M (2006). Pattern recognition and machine learning. springer.
22.11.2017
Michael Rabko
25

26. „Ich werde den 1x1 Trainer spielen,
wenn ich Stress habe“
- Zitat Kind
Michael Rabko
1x1 Trainer mit Handschrifterkennung
26