Data Engineer, Arquitetura, AWS
e Mais
Big Data Analytics
Cicero Moura
Data Engineer Tech Lead na DataSprints.
Pós-graduado em Big Data e Machine Learning
pela Fasam, Bacharel em Sistemas de
Informação pelo IFG.
AWS Community Builder.
Agenda
1. Big Data, Data Driven e Cloud Computing;
2. AWS Cloud;
3. Multi Cloud;
4. Cases reais.
Data Driven
● Empresas e organizações que geram conhecimento e valor
através de ambiente de dados;
● Tomada de decisões orientada a Dados;
● Democratização do acesso a informações;
● Principais tecnologias utilizadas:
○ Big Data;
○ Analytics;
○ Data Science.
Big Data
https://www.devopsschool.com/blog/big-data/?utm_source=rss&utm_medium=rss&utm_campaign=big-data
Data Lake
https://subscription.packtpub.com/book/big_data_and_business_intelligence/9781787281349/5/ch05lvl1sec42/context-in-data-lake-data-acquisition
Perfis na área de Dados
● Analista de Dados;
● Cientista de Dados;
● Engenheiro de Dados;
● Engenheiro de Machine Learning;
● Engenheiro de DataOps;
● Arquiteto de Dados.
Cloud Computing
https://blog.back4app.com/cloud-service-provider/
Computação On-Demand
● Ambiente de Tecnologia em Nuvem;
● Utilização apenas quando necessário;
● Não necessário gerenciamento de servidores físicos;
● Pagamento apenas quando o utilizar e o que utilizar.
Serverless
● Computação sob demanda sem gerenciamento de servidor;
● Execução de tarefas computacionais sem precisar se preocupar
com configuração de Sistemas Operacionais;
● Indicação apenas de recursos computacionais (memória, CPU e
armazenamento) e software a ser executada.
Amazon AWS
AWS
● Principal Cloud Provider;
● Possui servidores em diversos países e em várias regiões
dentro dos mesmos países;
○ Regiões;
○ Zonas de disponibilidade;
● Possui um framework para criação de sistemas resilientes,
disponíveis e escaláveis.
● Preza pela redução de custos na utilização dos serviços dentro
da nuvem.
● Responsabilidade compartilhada.
Principais Serviços
Custos e Pagamento
● Os custos são variados por serviços e prezam por:
○ Tempo de utilização;
○ Tamanho do recurso utilizado;
○ Capacidade de processamento dos serviços;
○ Utilização frequente ou sob demanda;
○ Trafego de dados;
● No momento da criação da conta existe um tempo grátis em
diversos serviços para estudo e testes (Free Tier).
Custos de uma EC2
Big Data e Data Science
Multi Cloud
Microsoft Azure
Google Cloud Platform (GCP)
Na Prática
Construindo um Data Lake
● Quais problemas de negócio desejamos resolver?
● Onde estão os dados que precisamos para resolver os
problemas?
● Quais profissionais precisamos na equipe?
● Qual metodologia de desenvolvimento?
● Infraestrutura e tecnologias:
○ Arquitetura do Big Data;
○ Segurança e governança dos dados;
● Geração de valor para o negócio:
○ Dashboards e Inteligência Artificial;
○ Data Platform;
Cases reais
Predição de complicação em casos de diabetes
Análise de desempenho e alocação de docentes
Contatos
Merchan
Redes sociais
cicerojmm
/in/cicero-moura
@cicerojmm
Obrigado!

Big Data Analytics - Data Engineer, Arquitetura, AWS e Mais