Recomendados
Recomendados
Mais conteúdo relacionado
Semelhante a Serverless ML Arquitetura
Semelhante a Serverless ML Arquitetura (20)
Mais de Felipe Santos
Serverless ML Arquitetura
- 2. Felipe Pereira https://www.linkedin.com/in/pereira-felipe/ https://github.com/pereiralabs/ ● Professor ● Desenvolvedor ● DBA ● Arquiteto de Dados ● Data Engineer ● Data Scientist
- 3. A Jornada
- 5. Serviço de Machine Learning Interface Avaliação e Controle de Fluxo Execução Retorno
- 6. Serviço de Machine Learning Interface Avaliação e Controle de Fluxo Execução Retorno -REST -Pub/Sub -Lambda -Airflow -Step Functions -Lambda -Spark/EMR -Sagemaker -REST -Pub/Sub
- 7. Entrada de Dados ● API Gateway ● SNS + SQS
- 8. API Gateway
- 9. API Gateway
- 10. Swagger
- 11. SNS + SQS
- 12. SNS
- 13. SQS
- 14. Pricing API Gateway: ● Free tier: ○ 1M API Calls ○ 12 meses ● Preço normal: ○ SNS: ● Requests: ○ 1M requests (free tier) ○ $0.50 / 1M ● Deliveries: ○ SQS/Lambda: grátis e sem limites ○ HTTP: Free tier (100K) | $0.60 / 1M
- 15. Workflow ● Airflow ● Step Functions
- 16. Airflow
- 17. Airflow
- 18. Airflow
- 19. Step Functions
- 20. Step Functions
- 21. Pricing Airflow: ● Databases: ○ SQLite (padrão) ○ MySQL (recomendado) ○ PostgreSQL (com psycop2) ● Server ○ HTTP ● Pricing: ○ Como é instalado on-premise, depende de como as tasks serão executadas. Tasks pesadas, rodando localmente, precisarão de mais recursos. O Airflow em si é leve, podendo ser executado em EC2s menores. Step Functions: ● Free tier: ○ 4.000 state transitions / mês ○ Sem limitação de 12 meses ● Preço normal: ○ $0.025 / 1K state transitions
- 22. Processamento e Predição ● Lambda + SciKit ● EMR ● Sagemaker
- 23. Lambda Slide concedido por Felipe Santos - https://www.linkedin.com/in/felipe-santos-77854123/
- 25. EMR
- 26. EMR
- 27. Sagemaker
- 28. Sagemaker
- 29. Sagemaker
- 30. Pricing
- 31. Architecture Environment EC2 Type Hours per day Hours per week $ / Hour (3 instances) Monthly cost EMR with Lambda Development 3 x r5.2xlarge 8 40 16,89 $ 2.972,64 Train 3 x r5.2xlarge 0 0 16,89 0 Predict Lambda 1 7 0,176 $ 5,28 Total 9 47 $ 2.977,92 Architecture Environment EC2 Type Hours per day Hours per week $ / Hour Monthly cost AWS Sagemaker Development ml.t2.xlarge 8 40 2,42 $ 425,92 Train ml.m4.10xlarg e 2 10 9,80 $ 431,20 Predict ml.m4.xlarge 24 168 7,28 $ 5.241,60 Total 34 7 7,28 $ 6.098,72 Architecture Environment EC2 Type Hours per day Hours per week $ / Hour (c/ EBS) Monthly cost Lambda with Scikit-Learn Development r5.4xlarge 8 40 6,008 $ 1.057,40 Train 3 x r5.2xlarge 0 0 5,63 0 Predict Lambda 1 7 0 Total 9 47 $ 1.057,40
- 32. Pricing
- 33. Retorno de Resultados ● REST ● SNS/SQS ● Banco de dados
- 34. Retorno de Resultados REST ou SNS/SQS API Gateway: ● Payload de 10 MB (por request) ● https://docs.aws.amazon.com/apigateway/latest/d eveloperguide/limits.html SNS/SQS: ● Payload de 256 KB (por mensagem) ● https://docs.aws.amazon.com/sns/latest/dg/sns-la rge-payload-raw-message-delivery.html (REST ou SNS/SQS) + Banco de Dados Positivo: ● Retorna apenas uma flag de status ● Resultado no DB ● “Payload infinito” Negativo: ● Acoplamento maior dos serviços
- 35. Model Health
- 36. Model Health ● Model Health (Acurácia, Precision, Recall, F1-Score, etc) ● Como calcular?
- 37. Model Health ● Model Health (Acurácia, Precision, Recall, F1-Score, etc) ● Como calcular?
- 38. Model Health ● Model Health (Acurácia, Precision, Recall, F1-Score, etc) ● Como calcular?
- 39. Visão de Produto
- 40. Produto ● Modelo de Machine Learning ● Data Pipeline (Ingestão, Transformação, Predição, Retorno) ● Case Management ● Feedback para o modelo (False Positive e False Negative) ● Integração com sistemas/serviços
- 41. Pessoas e Papéis
- 42. Pessoas e Papéis ● Product Owner - Backlog ● Data Engineer - Data Pipeline ● Data Scientist - ML Model ● Quality Assurance Analyst - Test ● DevOps - Deploy
- 43. Considerações Finais ● Planejamento de custos DENTRO da nuvem ○ Diferentes possibilidades ○ Diferentes preços ○ Diferentes arquiteturas ● Planejamento de custos ENTRE nuvens ○ Como isto influencia o projeto ○ Como isto influencia a empresa ○ Como isto influencia o cliente ● AWS Well Architected ○ https://aws.amazon.com/architecture/well-architected/ ○