O documento apresenta o ML Kit da Google, uma biblioteca que facilita a adição de recursos de machine learning em aplicativos Android. Ele discute como configurar e usar funcionalidades como reconhecimento de texto, rosto e código de barras, bem como hospedar e fazer inferência com modelos personalizados. Exemplos de código demonstram como integrar o ML Kit em um aplicativo para classificar imagens.

1. Felipe Pedroso
TDC São Paulo / 2018
Machine Learning em Apps Android com

2. Felipe Pedroso
Android Developer @ Movile
felipeapedrosofelipepedroso felipeapedroso

3. Qual o valor que Machine Learning
pode adicionar em apps móveis?

4. Customizar a experiência
Entender e automatizar hábitos
Prover Acessibilidade
“Efeito WOW”
Etc, etc, etc...

5. Quais são os desafios para o
desenvolvedor de apps?

6. Criar/Treinar modelos
Otimização para dispositivos móveis
Integração com o app
Modelo local ou remoto

7. ML Kit: Machine Learning SDK for mobile developers (Google I/O '18)

8. Machine Learning para todos!

9. Suporte para Android e iOS
Fonte das imagens: WikiMedia Commons

10. Duas modalidades de funcionamento
Dispositivo
(“offline”)
Nuvem

11. Funcionalidades
Dispositivo Nuvem
Reconhecimento de Texto ✔ ✔
Detecção de Faces ✔
Leitura de código de barras ✔
Rotular imagens ✔ ✔
Reconhecimento de pontos de
referência / pontos turísticos
✔

12. Mas e se meu caso de uso for
diferente ou eu já possuo um
modelo treinado?

13. Modelos customizados!
● Hospedagem de modelos Tensorflow Lite
● Fluxo de inferência utilizando o SDK
● Mecanismo de “fallback”
● Atualizações automáticas

14. Mas como eu faço para usar no
Android?

15. Configurar Firebase no projeto do app
Getting Started with Firebase on Android - Firecasts

16. Adicionar dependências no build.gradle (app)
implementation ('com.google.firebase:firebase-core:16.0.1'){
exclude group: 'com.android.support'
}
implementation('com.google.firebase:firebase-ml-vision:16.0.0') {
exclude group: 'com.android.support'
}
implementation ('com.google.firebase:firebase-ml-vision-image-label-model:15.0.0') {
exclude group: 'com.android.support'
}

17. Configurar modelos no manifest
<application ...>
...
<meta-data
android:name="com.google.firebase.ml.vision.DEPENDENCIES"
android:value="label,face,text" />
...
</application>

18. Criar um FirebaseVisionImage
val bitmap = ... // Obter imagem de arquivo, câmera, url, etc
val firebaseVisionImage = FirebaseVisionImage.fromBitmap(bitmap)

19. Obter o FirebaseVisionLabelDetector
val options = FirebaseVisionLabelDetectorOptions.Builder()
.setConfidenceThreshold(0.8f)
.build()
val firebaseVision = FirebaseVision.getInstance()
val detector = firebaseVision.getVisionLabelDetector(options)

20. Obter o FirebaseVisionLabelDetector
detector.detectInImage(firebaseVisionImage)
.addOnSuccessListener {
val firebaseVisionLabels = it
for (firebaseVisionLabel in firebaseVisionLabels) {
// Usar as informações label, entityId e confidence
}
}
.addOnFailureListener {
val error = it // Tratar o erro adequadamente
}

21. App de exemplo:
github.com/felipepedroso/MLKitSample

22. Mas já dá usar em produção?

24. Conclusões
● O MLKit facilita o processo de desenvolvimento
● Setup e utilização são simples
● Novos casos de uso através de modelos customizados
● Funciona bem, mas ainda está em beta

25. Muito Obrigado!
felipeapedrosofelipepedroso felipeapedroso

26. Referências
https://firebase.google.com/docs/ml-kit/
https://github.com/firebase/quickstart-android/tree/master/mlkit
https://medium.com/google-developer-experts/exploring-firebase-mlkit-on-
android-introducing-mlkit-part-one-98fcfedbeee0