Baixar para ler offline
![Amazon EMR + Jupyter
BootstrapActions=[
{
'Name': 'Jupyter Notebook',
'ScriptBootstrapAction': {
'Path': 's3://aws-bigdata-blog/artifacts/aws-blog-emr-jupyter/install-
jupyter-emr5.sh',
'Args': [
'--s3fs', '--python3',
'--python-packages', 'pandas matplotlib findspark boto3',
'--port', '8880', '--password' ,'jupyter',
'--cached-install',
'--notebook-dir', 's3://mybucket/notebooks/']
}
},
],
https://aws.amazon.com/pt/blogs/big-data/running-jupyter-notebook-and-jupyterhub-on-
amazon-emr/](https://image.slidesharecdn.com/trilhabigdatacomointegrarassoluesdostimesdedataengineeringedatascience-171127190403/85/TDC2017-POA-Trilha-BigData-Como-integrar-as-solucoes-dos-times-de-Data-Engineering-e-Data-Science-12-320.jpg)
Carregado portdc-globalcode
TDC2017 | POA Trilha BigData - Como integrar as soluções dos times de Data Engineering e Data Science?
O documento discute como integrar times de Data Engineers e Data Scientists de forma efetiva. Ele propõe o uso de tecnologias como Python, Pyspark e MapD para análise e modelagem de dados, armazenados em HDFS e processados em clusters EMR na nuvem. A comunicação entre as equipes e o foco no objetivo comum de extrair insights dos dados são apontados como cruciais para o sucesso da colaboração.
TDC2017 | POA Trilha BigData - Como integrar as soluções dos times de Data Engineering e Data Science?
- 1. Como integrar timesde Data Engineers e Data Scientists? Tiago Vinícius (Vini) vinicius.remigio@gmail.com linkedin.com/in/viniremigio/
- 3.
- 4. Data Engineers DataScientists Arquitetura Análise exploratória Dados disponíveis Modelagem Big Data Computação Matemática, Física, Estatística
- 5. “O dataframe nãocabe na memória da máquina...” “Os dados estão no HDFS, é só criar um job Spark ou Hive e ler...” “O processamento foi implementado em Java. Mas os modelos estão em Python...” “Temos dificuldades de visualizar os dados...” “Não consigo baixar trazer 1TB de dados para a minha máquina...” “Estou perdendo muito tempo tentando processar os dados. Só queria começar a modelagem...”
- 7. https://diobrando.deviantart.com/art/Sub-Zero-and-Scorpion-Friendship-475106351 Como Engineers eScientists podem trabalhar juntos? • Tecnologias • Arquitetura
- 8.
- 9. Desenvolvimento centralizado emPython Manipulação dos dados com Jupyter Gerenciamento de environments com Anaconda
- 10. + Processamento distribuído comPyspark YARN Cluster Cloud (mais fully-managed possível) Amazon EMR
- 11.
- 12. Amazon EMR +Jupyter BootstrapActions=[ { 'Name': 'Jupyter Notebook', 'ScriptBootstrapAction': { 'Path': 's3://aws-bigdata-blog/artifacts/aws-blog-emr-jupyter/install- jupyter-emr5.sh', 'Args': [ '--s3fs', '--python3', '--python-packages', 'pandas matplotlib findspark boto3', '--port', '8880', '--password' ,'jupyter', '--cached-install', '--notebook-dir', 's3://mybucket/notebooks/'] } }, ], https://aws.amazon.com/pt/blogs/big-data/running-jupyter-notebook-and-jupyterhub-on- amazon-emr/
- 13. Ainda assim, dominar oecossistema Hadoop para tirar insights pode ser custoso para os Data Scientists...
- 14.
- 15.
- 16.
- 17. GPU Accelerated Database Queriesprocessadas na GPU Ferramenta de visualização Pode escalar para bilhões de registros Ingestão com Sqoop, Spark ou Kafka Queries com SQL (JDBC Client)
- 18. Demo: Taxis NovaYork
- 19.
- 20.
- 21. Kinesis Stream S3 EMR Kinesis Firehose Boto3 JDBCClient EMR EMR
- 22.
- 23. O que vemfuncionando? Apostamos em Hadoop + GPU Centralizar a implementação em Python e Pyspark Visualização dos dados no MapD Jupyter integrado ao EMR Stack na Cloud Data Engineers: Prover arquitetura que facilite o trabalho dos Scientists Data Scientists: Comunicar o Big Picture para os Engineers
- 24. Quer saber mais? TrilhaNoSQL MapD: Plataforma de Analytics sobre GPU 09/11 Trilha Banco de Dados Introdução ao MapD: Banco de dados sobre GPU 11/11
- 25. Obrigado! Links e apresentações https://github.com/vinicius85/speaker Contatos vinicius.remigio@gmail.com linkedin.com/in/viniremigio/ SerasaExperian DataLab Blog: https://www.serasaexperian.com.br/datalabs-noticias/ Projetos: https://www.serasaexperian.com.br/datalabs/