O documento descreve um curso sobre análise de dados com Python e JupyterHub, incluindo a instalação e configuração do PySpark e JupyterHub, integração do PySpark com Pandas, e customização do Jupyter e JupyterHub. É explicado o que é Jupyter, PySpark, e como adicionar kernels, analisar dados, e administrar o JupyterHub.

1. Análise de dados com Python e
JupyterHub

2. Cronograma
- Instalação e configuração do pyspark + jupyter
- Análise de dados do governo
- Integração do pyspark com Pandas
- Instalação e configuração do JupyterHub
- Customizando Jupyter e JupyterHub (bônus)
Material do curso:
https://github.com/dmvieira/tutorial-jupyter-pyspark

3. O que é Jupyter?

4. O que é Jupyter?

5. O que é Jupyter?

6. O que é Jupyter?
Jupyter = Julia Python R
Mas…
https://github.com/jupyter/jupyter/wiki/Jupyter-
kernels
PYTHON É O PADRÃO!

7. O que é Jupyter?
pip3 install jupyter==1.0.0 -i https://pypi.python.org/simple
ou
conda install -c anaconda jupyter=1.0.0
jupyter notebook

8. Como adiciono um kernel?
Vamos adicionar kernel do PySpark!
http://d3kbcqa49mib13.cloudfront.net/spark-2.1
.0-bin-hadoop2.7.tgz
Mas o que é PySpark?

9. Como adiciono um kernel?
Vamos adicionar kernel do PySpark!
http://d3kbcqa49mib13.cloudfront.net/spark-2.1
.0-bin-hadoop2.7.tgz
Mas o que é PySpark?

10. ● Ferramenta para processamento de dados em larga
escala
● Até 100x mais rápido que map reduce no hadoop
● Distribui tarefas em paralelo
● Suporte a
– Java(Spark)
– Scala(Spark)
– Python(PySpark)
– R(SparkR)

11. Vamos descompactar e trabalhar!
● echo "palavra um tres dois tres dois tres">
dataset/teste_de_palavras.txt
● tar -xvzf spark-2.1.0-bin-hadoop2.7.tgz
● cd spark-2.1.0-bin-hadoop2.7/bin
● ./pyspark
text_file = sc.textFile("../../dataset/teste_de_palavras.txt")
counts = text_file.flatMap(lambda line: line.split(" "))
.map(lambda word: (word, 1))
.reduceByKey(lambda a, b: a + b)
counts.collect()

12. Agora sim… Voltamos pro Kernel
Vamos adicionar kernel do PySpark!
export SPARK_HOME=/Users/diogo.munaro/learn/tutorial-
jupyter/spark-2.1.0-bin-hadoop2.7
export PATH="$PATH:$SPARK_HOME/bin"
pip3 install -i https://pypi.anaconda.org/hyoon/simple toree==0.2.0.dev1
ou
conda install -c anaconda toree=0.2.0.dev1
pip3 install "jupyter_client<5.0" -i https://pypi.python.org/simple
ou
conda install -c "jupyter_client<5.0"
jupyter toree install –spark_home=$SPARK_HOME
jupyter toree install –interpreters=PySpark
jupyter notebook

13. Agora sim… Do jeito que funciona
Vamos adicionar kernel do PySpark!
export SPARK_HOME=/Users/diogo.munaro/learn/tutorial-
jupyter/spark-2.1.0-bin-hadoop2.7
export PATH="$PATH:$SPARK_HOME/bin"
pip3 install findspark==1.1.0 -i https://pypi.python.org/simple
jupyter notebook

14. Vamos para a análise de dados!

15. Vamos para a análise de dados!
pip3 install pandas==0.19.2 matplotlib==2.0.1 -i https://pypi.python.org/simple
ou
conda install -c anaconda pandas=0.19.2 matplotlib=2.0.1
jupyter notebook

16. Ok, e JupyterHub?

17. Ok, e JupyterHub?
npm install -g configurable-http-proxy –registry https://registry.npmjs.org/
pip3 install jupyterhub==0.7.2 -i https://pypi.python.org/simple
ou
conda install -c conda-forge jupyterhub=0.7.2
jupyterhub
http://localhost:8000

18. Mas como administro com
JupyterHub?
jupyterhub –generate-config
Editar jupyterhub_config.py
c.Authenticator.admin_users = set() → {“diogo.munaro”}

19. Vamos customizar!
jupyter --paths
Mudar arquivo de login!

20. Obrigado
http://github.com/dmvieira/
https://www.linkedin.com/in/dmvieira/
diogo.mvieira@gmail.com