pen4education
Python
Análise de dados com Python para
iniciantes
Matheus Braun Magrin
Cientista de dados - Bravi
pen4education
Agenda
Análise de dados
Ferramentas do ecossistema Python
Boas práticas
Exemplos
pen4education
Caraca maluco!!
Olha isso!!
“Estudo aponta
que 50% das
pessoas ficam
entediadas com
estatística”
Fontes: http://explosm.net/comics/2964/
pen4education
Análise de dados
Extrair conhecimento e informações úteis de dados
pen4education
Análise de dados
Extrair conhecimento e informações úteis de dados
para tomar melhores decisões
pen4education
Partir disso...
pen4education
...e chegar nisso
Fontes: https://powerbi.microsoft.com/en-us/documentation/powerbi-mobile-create-dashboard/ e http://prisma.bravi.com.br/
pen4education
Mas não é bagunça
CRISP-DM
CRoss
Industry
Standard
Process
for
Data Mining
Fontes: https://en.wikipedia.org/wiki/Cross_Industry_Standard_Process_for_Data_Mining
pen4education
Epiciclos da análise
Do livro
“The Art of Data Science:
A Guide for Anyone Who Works with Data”
Fontes: https://leanpub.com/artofdatascience
pen4education
Epiciclos da análise
Fontes: https://leanpub.com/artofdatascience
pen4education
Análise exploratória
Estatísticas descritivas
• Centralidade: média, mediana, moda
• Dispersão: desvio padrão, variância
Gráficos
• de dispersão
• de caixa
• barras
Tabelas cruzada e de frequência
pen4education
Ferramentas
pen4education
Outras ferramentas
Captura
Scrapy
requests + beatifulsoup
rows
Manipulação
dask
toolz/cytoolz
Visualização
seaborn
plotly
Bokeh
Redes
NetworkX
graph-tool
igraph
NLP
NLTK
spaCy
TextBlob
Deep Learning
Keras
Theano
Tensor Flow
pen4education
Boas práticas
Para análises
• Mantenha os dados e metadados seguros
• Documentação e comentários (programação literária)
• Convenção de nomenclatura de notebooks
• AAAA-MM-DD_iniciais_titulo-do-notebook
pen4education
Boas práticas
Para análises
• Mantenha os dados e metadados seguros
• Documentação e comentários (programação literária)
• Convenção de nomenclatura de notebooks
• AAAA-MM-DD_iniciais_titulo-do-notebook
pen4education
Boas práticas
Para análises
• Mantenha os dados e metadados seguros
• Documentação e comentários (programação literária)
• Convenção de nomenclatura de notebooks
• AAAA-MM-DD_iniciais_titulo-do-notebook
pen4education
Boas práticas
Herdadas da engenharia de software
• Não se repita
• Use controle de versão
• Use hooks para facilitar o processo
• Automatize processos repetitivos
pen4education
Boas práticas
Herdadas da engenharia de software
• Não se repita
• Use controle de versão
• Use hooks para facilitar o processo
• Automatize processos repetitivos
pen4education
Boas práticas
Herdadas da engenharia de software
• Não se repita
• Use controle de versão
• Use hooks para facilitar o processo
• Automatize processos repetitivos
pen4education
Como começar
pen4education
Como começar
Ficando aqui e assistindo a próxima palestra!
“Faça Kung Fu com Pandas!”
pen4education
Ficando aqui e assistindo a próxima palestra!
“Faça Kung Fu com Pandas!”
Como começar
Fontes: http://www.dailymail.co.uk/~/article-4250686/index.html#i-2424b286a766dc60
pen4education
Como começar
pen4education
Como começar
pen4education
Não precisa usar
machine learning/deep learning/Spark/Hadoop/etc
para gerar valor
pen4education
Botando em prática
Um mesmo conjunto de dados
Várias análises, várias perspectivas
Feedback
pen4education
Botando em prática
Dados e instruções ainda não disponíveis em:
https://github.com/braunmagrin/analises-tdc
pen4education
Botando em prática
Dados e instruções ainda não disponíveis em:
https://github.com/braunmagrin/analises-tdc
OU
Kernel no Kaggle
pen4education
Botando em prática
Dados e instruções ainda não disponíveis em:
https://github.com/braunmagrin/analises-tdc
Método:
• Pull request no repositório; ou
• Email para braunmagrin@gmail.com com assunto
“[ANÁLISE TDC] ….”
pen4education
Exemplos
pen4education
Python
Análise de dados com Python para iniciantes
Matheus Braun Magrin
braunmagrin@gmail.com
{github.com, linkedin.com/in, slideshare.net}/braunmagrin
Valeu!
pen4education
Python
Análise de dados com Python para iniciantes
Matheus Braun Magrin
braunmagrin@gmail.com
{github.com, linkedin.com/in, slideshare.net}/braunmagrin
Perguntas?
pen4education
~jabá~
https://www.meetup.com/Florianopolis-Data-Science-Meetup/
https://www.facebook.com/groups/DataScienceFloripa

Análise de dados com Python para iniciantes