1) O documento apresenta um resumo sobre Big Data, Data Driven, Cloud Computing e AWS. 2) Inclui definições sobre Data Lake, perfis na área de dados, computação on-demand e serverless. 3) Discutiu sobre a AWS, seus serviços, custos e casos reais de projetos de análise de dados.
2. Cicero Moura
Data Engineer Tech Lead na DataSprints.
Pós-graduado em Big Data e Machine Learning
pela Fasam, Bacharel em Sistemas de
Informação pelo IFG.
AWS Community Builder.
3. Agenda
1. Big Data, Data Driven e Cloud Computing;
2. AWS Cloud;
3. Multi Cloud;
4. Cases reais.
4. Data Driven
● Empresas e organizações que geram conhecimento e valor
através de ambiente de dados;
● Tomada de decisões orientada a Dados;
● Democratização do acesso a informações;
● Principais tecnologias utilizadas:
○ Big Data;
○ Analytics;
○ Data Science.
7. Perfis na área de Dados
● Analista de Dados;
● Cientista de Dados;
● Engenheiro de Dados;
● Engenheiro de Machine Learning;
● Engenheiro de DataOps;
● Arquiteto de Dados.
9. Computação On-Demand
● Ambiente de Tecnologia em Nuvem;
● Utilização apenas quando necessário;
● Não necessário gerenciamento de servidores físicos;
● Pagamento apenas quando o utilizar e o que utilizar.
10. Serverless
● Computação sob demanda sem gerenciamento de servidor;
● Execução de tarefas computacionais sem precisar se preocupar
com configuração de Sistemas Operacionais;
● Indicação apenas de recursos computacionais (memória, CPU e
armazenamento) e software a ser executada.
12. AWS
● Principal Cloud Provider;
● Possui servidores em diversos países e em várias regiões
dentro dos mesmos países;
○ Regiões;
○ Zonas de disponibilidade;
● Possui um framework para criação de sistemas resilientes,
disponíveis e escaláveis.
● Preza pela redução de custos na utilização dos serviços dentro
da nuvem.
● Responsabilidade compartilhada.
14. Custos e Pagamento
● Os custos são variados por serviços e prezam por:
○ Tempo de utilização;
○ Tamanho do recurso utilizado;
○ Capacidade de processamento dos serviços;
○ Utilização frequente ou sob demanda;
○ Trafego de dados;
● No momento da criação da conta existe um tempo grátis em
diversos serviços para estudo e testes (Free Tier).
21. Construindo um Data Lake
● Quais problemas de negócio desejamos resolver?
● Onde estão os dados que precisamos para resolver os
problemas?
● Quais profissionais precisamos na equipe?
● Qual metodologia de desenvolvimento?
● Infraestrutura e tecnologias:
○ Arquitetura do Big Data;
○ Segurança e governança dos dados;
● Geração de valor para o negócio:
○ Dashboards e Inteligência Artificial;
○ Data Platform;