A plataforma Marvin é uma ferramenta open source de inteligência artificial que simplifica a exploração e modelagem de aplicações de IA, permitindo que equipes de ciência de dados desenvolvam soluções eficazes. Daniel Takabayashi, gerente de TI e arquiteto de software na B2W Digital, destaca o uso da IA em diversas aplicações, como otimização de preço e previsão de demanda. O roadmap inclui suporte para várias linguagens de programação e funcionalidades como automação de engenharia de recursos e suporte a servidores de feedback.

1. Da Exploração à Produção
Inteligência Artificial com a Plataforma Marvin

2. Sobre mim ...
Daniel Takabayashi
IT Manager / Software Architect / Software Engineer @ B2W Digital
daniel.takabayashi@b2wdigital.com
linkedin.com/in/danieltakabayashi/
github.com/takabayashi
@DanTakabayashi

3. B2W Digital: e-commerce leader in LatAm

4. Alguns cases de IA @ B2W
Buy Box Optimization
Forecast Demand
Risk Analysis
Ad-Spend Optimization
Dynamic Pricing
Product Feature Extraction
Product Category Classification
Product Image Search
Product Match

5. Domínios de conhecimento

6. Como abstrair a
complexidade na criação de
IAs?

7. Github.com/marvin-ai

8. Marvin: Plataforma open source de Inteligência Artificial
Permite que equipes de ciência de
dados entreguem aplicativos de
IA, simplificando o processo
de exploração e modelagem.

9. Padronizando & Abstraindo

10. Padronizando: DASFE pattern
Data Acquisition
and Cleaning
initial dataset
Training
Preparation
dataset
Model Training
model
Model Evaluation
metrics
Batch Actions
Prediction
Preparation
input message
Model Prediction
final prediction
Online Actions
Prediction
Feedback end

11. Padronizando: passo a passo

12. Padronizando: Rest APIs
curl -H "Content-Type: application/json" -X POST localhost:8000/<onlineAction> -d {...}
curl -H "Content-Type: application/json" -X PUT localhost:8000/<actionName>/reload?protocol=...
curl -H "Content-Type: application/json" -X GET localhost:8000/<actionName>/health
- Ações batch: acquisitor, tpreparator, trainer, evaluator e pipeline
- Ações online: predictor, feedback

13. Abstraindo: principais componentes
● Toolbox - Conjunto de utilitários específicos por linguagem de
programação que auxilia em todo processo de exploração, desenvolvimento,
teste e deploy de uma engine (python-toolbox, scala-toolbox, r-toolbox etc).
● Engine - Projeto que contém o código fonte relacionado ao modelo, é
administrado pelo toolbox. Implementação do DASFE pattern.
● Engine Executor - Responsável por toda a abstração arquitetural em
torno da Engine (paralelismo, versionamento, APIs, disponibilidade etc).
● Artefatos - Binários persistidos e versionados no fim de cada ação batch
(initial dataset, dataset, model e metrics).

14. Abstraindo:

15. Abstraindo: diagrama de contexto

16. Abstraindo: componentes arquiteturais

17. Abstraindo: marvin toolbox
● Python: github.com/marvin-ai/marvin-python-toolbox (v0.0.1)
○ notebook integrado
○ integração com spark, keras etc
○ integração contínua (git, gerenciamento de versão, test unitários, profiling, test funcional etc)
○ gerador de template
○ importação e sampling de dados do hive
○ marvin common classes (properties, logs, data etc)
○ ...
● Scala: github.com/marvin-ai/marvin-scala-toolbox (em construção)
● Java: github.com/marvin-ai/marvin-java-toolbox (vamos contruir?)
● R: github.com/marvin-ai/marvin-r-toolbox (vamos contruir?)

18. Abstraindo: Ambiente de desenvolvimento
O marvin toolbox é compatível com o ubuntu e macOS !!!
https://github.com/marvin-ai/marvin-python-toolbox/blob/master/README.md
...mas também é possível utilizar uma box do vagrant (muito fácil) !!!
https://github.com/marvin-ai/marvin-vagrant-dev/blob/master/README.md

19. Marvin Roadmap
● Jupyter extension to generate code
● Admin module
● Toolbox: Go, R, Java, Scala support
● Feedback server
● Artifacts persistence layer: S3 and local FS support
● Remote provisioning and deployment: Azure, AWS and GCP
● Automate feature engineering
● Hyper parameters support
● ML for no-data scientists
● ...

20. Hands on...