O documento apresenta uma palestra sobre análise de dados com Python para iniciantes. Apresenta a agenda do evento, ferramentas do ecossistema Python, boas práticas para análise de dados e exemplos de análises exploratórias.

1. pen4education
Python
Análise de dados com Python para
iniciantes
Matheus Braun Magrin
Cientista de dados - Bravi

2. pen4education
Agenda
Análise de dados
Ferramentas do ecossistema Python
Boas práticas
Exemplos

3. pen4education
Caraca maluco!!
Olha isso!!
“Estudo aponta
que 50% das
pessoas ficam
entediadas com
estatística”
Fontes: http://explosm.net/comics/2964/

4. pen4education
Análise de dados
Extrair conhecimento e informações úteis de dados

5. pen4education
Análise de dados
Extrair conhecimento e informações úteis de dados
para tomar melhores decisões

6. pen4education
Partir disso...

7. pen4education
...e chegar nisso
Fontes: https://powerbi.microsoft.com/en-us/documentation/powerbi-mobile-create-dashboard/ e http://prisma.bravi.com.br/

8. pen4education
Mas não é bagunça
CRISP-DM
CRoss
Industry
Standard
Process
for
Data Mining
Fontes: https://en.wikipedia.org/wiki/Cross_Industry_Standard_Process_for_Data_Mining

9. pen4education
Epiciclos da análise
Do livro
“The Art of Data Science:
A Guide for Anyone Who Works with Data”
Fontes: https://leanpub.com/artofdatascience

10. pen4education
Epiciclos da análise
Fontes: https://leanpub.com/artofdatascience

11. pen4education
Análise exploratória
Estatísticas descritivas
• Centralidade: média, mediana, moda
• Dispersão: desvio padrão, variância
Gráficos
• de dispersão
• de caixa
• barras
Tabelas cruzada e de frequência

12. pen4education
Ferramentas

13. pen4education
Outras ferramentas
Captura
Scrapy
requests + beatifulsoup
rows
Manipulação
dask
toolz/cytoolz
Visualização
seaborn
plotly
Bokeh
Redes
NetworkX
graph-tool
igraph
NLP
NLTK
spaCy
TextBlob
Deep Learning
Keras
Theano
Tensor Flow

14. pen4education
Boas práticas
Para análises
• Mantenha os dados e metadados seguros
• Documentação e comentários (programação literária)
• Convenção de nomenclatura de notebooks
• AAAA-MM-DD_iniciais_titulo-do-notebook

15. pen4education
Boas práticas
Para análises
• Mantenha os dados e metadados seguros
• Documentação e comentários (programação literária)
• Convenção de nomenclatura de notebooks
• AAAA-MM-DD_iniciais_titulo-do-notebook

16. pen4education
Boas práticas
Para análises
• Mantenha os dados e metadados seguros
• Documentação e comentários (programação literária)
• Convenção de nomenclatura de notebooks
• AAAA-MM-DD_iniciais_titulo-do-notebook

17. pen4education
Boas práticas
Herdadas da engenharia de software
• Não se repita
• Use controle de versão
• Use hooks para facilitar o processo
• Automatize processos repetitivos

18. pen4education
Boas práticas
Herdadas da engenharia de software
• Não se repita
• Use controle de versão
• Use hooks para facilitar o processo
• Automatize processos repetitivos

19. pen4education
Boas práticas
Herdadas da engenharia de software
• Não se repita
• Use controle de versão
• Use hooks para facilitar o processo
• Automatize processos repetitivos

20. pen4education
Como começar

21. pen4education
Como começar
Ficando aqui e assistindo a próxima palestra!
“Faça Kung Fu com Pandas!”

22. pen4education
Ficando aqui e assistindo a próxima palestra!
“Faça Kung Fu com Pandas!”
Como começar
Fontes: http://www.dailymail.co.uk/~/article-4250686/index.html#i-2424b286a766dc60

23. pen4education
Como começar

24. pen4education
Como começar

25. pen4education
Não precisa usar
machine learning/deep learning/Spark/Hadoop/etc
para gerar valor

26. pen4education
Botando em prática
Um mesmo conjunto de dados
Várias análises, várias perspectivas
Feedback

27. pen4education
Botando em prática
Dados e instruções ainda não disponíveis em:
https://github.com/braunmagrin/analises-tdc

28. pen4education
Botando em prática
Dados e instruções ainda não disponíveis em:
https://github.com/braunmagrin/analises-tdc
OU
Kernel no Kaggle

29. pen4education
Botando em prática
Dados e instruções ainda não disponíveis em:
https://github.com/braunmagrin/analises-tdc
Método:
• Pull request no repositório; ou
• Email para braunmagrin@gmail.com com assunto
“[ANÁLISE TDC] ….”

30. pen4education
Exemplos

31. pen4education
Python
Análise de dados com Python para iniciantes
Matheus Braun Magrin
braunmagrin@gmail.com
{github.com, linkedin.com/in, slideshare.net}/braunmagrin
Valeu!

32. pen4education
Python
Análise de dados com Python para iniciantes
Matheus Braun Magrin
braunmagrin@gmail.com
{github.com, linkedin.com/in, slideshare.net}/braunmagrin
Perguntas?

33. pen4education
~jabá~
https://www.meetup.com/Florianopolis-Data-Science-Meetup/
https://www.facebook.com/groups/DataScienceFloripa