Not Hotdog - kako napraviti aplikaciju baziranu na strojnom učenju?

1. Not Hotdog -
kako napraviti aplikaciju
baziranu na strojnom učenju?
Jurica Cerovec
3. 4. 2018.

3. Strojno učenje

5. Strojno učenje je
naprimjenjivije za:
• Raspoznavanje slika
• Obrada teksta
• Predikcija (financije, marketing)
• Generiranje zvuka, slika…
• Preporučivanje
• …

6. Primjeri mobilnih
aplikacija

9. Tinder

13. Not Hotdog!

14. Proći ćemo zajedno kroz
implementaciju iOS
aplikacije Not Hotdog

15. Postoji ogromna količina
materijala o strojnom
učenju!

16. Materijali o Strojnom učenju
•Strojno učenje, Duboko učenje, Raspoznavanje
uzoraka, Neuronske mreže, Računalni vid…
(FER, 4. godina)
•Deep Learning Specialization by Andrew Ng
(Coursera)
•CS231n (Stanford, Andrej Karpathy)

17. U industriji se najviše
koristi nadzirano učenje

18. Strojno učenje za mobile
i web developere

19. Koje su najvažnije odluke kod
izrade mobilne aplikacije
temeljene na strojnom učenju?

20. Glavne odluke
•Kako učiti (i naučiti) model?
•Kako raditi deployment naučenog
modela?

21. Kako učiti model
•Definiranje domene problema i
dataseta
•Eksperimentiranje s arhitekturama i
učenjem
•Odabir frameworka za učenje

22. Odabir frameworka za učenje
•Ima implikacije na kasnije odluke!
•Tensorflow, PyTorch, Keras, MXNet…

23. Kako deployati model
•Cloud deployment
•On device deployment

24. Cloud deployment
Pros Cons
Jedan deployment za sve kanale
(iOS, Android, web)
Lošiji UX - potreban je i upload
podataka
Omogućuje jednostavno
prikupljanje podataka za dataset
App ne radi offline
Omogućuje korištenje većih
(dubljih) modela
Korisnici mogu biti zabrinuti za
privatnost podataka
Cijena - cloud infrastruktura
košta!

25. On-device deployment
Pros Cons
Idealan UX - za većinu primjena
modeli su dovoljno mali i brzi
Potencijalno značajno veći
development effort
App radi i offline
Prikupljanje podataka nije out of
the box, potrebno razviti
Čuva se privatnost korisničkih
podataka
Zahtijeva izradu manjih (plićih)
modela
Cijena - processing se prebacuje
na uređaj korisnika

26. Kako deployati model -
trendovi
•On device processing dobiva zamah!
•SoC proizvođači rade custom hardware za
izvođenje neuronskih mreža
•Veliki igrači u ML-u rade prilagođene inference
sustave (Tensorflow Lite, Caffe2Go, CoreML..)

27. On-device deployment - opcije
CoreML
iOS specific, ali podržan na 95+%
iOS uređaja!
TensorFlow Lite
Rješenje za sve platforme, no još u
development fazi
Caffe2Go Lošije performanse
Android NNAPI Radi samo na Android 8.1+
Custom rješenje Skupo za razvoj!

28. CoreML

29. Velik broj gotovih modela!
•MobileNet
•SqueezeNet
•Inception v3
•ResNet50
•VGG16

30. Agnostičan na framework za
učenje
•Keras
•MXNet
•PyTorch
•Tensorflow (novo!)

31. Not Hotdog!
https://github.com/cerovec/not-hotdog

33. Razvojni proces aplikacija
baziranih na strojnom učenju

34. Uključeni timovi
• Product Management team - promišlja o cijelom proizvodu i
procesu
• Mobile team - iterativno poboljšava proizvod
• Web team - brine o sustavima za pripremu podatka
• Data team - brine da su podaci ispravno pripremljeni
• Research team - radi eksperimente i istražuje mogućnosti
korištenja strojnog učenja
• Applied ML team - koristi podatke i dolazi do produkcijskih
modela

35. Better Product
More Data More Users
Gives
Gives
Creates

36. Machine Learning za
mobile i web

37. Mozgalo

38. App Start Contest

39. Job Fair

40. Studentske prakse

41. Kako će machine learning
utjecati na inženjere koji će raditi
na mobilnim aplikacijama?

42. Kako inženjer koji radi na
mobilnoj aplikaciji može koristiti
modele strojnog učenja?

43. Koje mogućnosti ima na
raspolaganju i kada ih treba
koristiti?

44. Kako treba izgledati razvojni
proces aplikacije koja koristi
strojno učenje?

45. Microblink
Photomath
Jurica Cerovec
jurica.cerovec@microblink.com
microblink.com/jobs
photomath.net/jobs