SlideShare uma empresa Scribd logo
1 de 37
Baixar para ler offline
Análise de Redes Sociais com Python
Women Techmakers 2015
Ana Paula Gomes
Quem
Ana Paula Gomes
Mestranda em Ciência da
Computação - UFMG
Organizer do GDG-BH /
Leader Women
Techmakers BH
Inquieta, curiosa e
apaixonada por tecnologia
O quê
1. Introdução: Redes complexas
2. Coleta de dados do Twitter
3. Modelagem em grafos e implementação
4. Uso de métricas de grafos
5. Visualização de dados
Redes complexas
Começando pelo começo
Antes de mais nada…
Precisamos responder perguntas:
Quais termos estão relacionados ao
#WomenTechmakers?
Quais pessoas são mais influentes dentre
as pessoas que falam sobre o
#WomenTechmakers?
Coleta dos dados
Precisamos usar alguma coisa
Coleta de dados
Marvel
Yelp
Foursquare
Twitter :)
Coringa:
Programmable Web
Lod-cloud
Coleta de Dados do Twitter
Modalidades:
Streaming
Search
Coleta de Dados do Twitter
Restrições:
1% da base
Search
15 requisições numa janela de 15
minutos
Coleta de Dados do Twitter
Tudo documentado em: dev.twitter.com
Passos:
Criar uma aplicação
Instalar TwitterAPI
Coleta do Twitter - conexão
from TwitterAPI import TwitterAPI
# credenciais de conexao com o Twitter
twitter_api = TwitterAPI(consumer_key='XXXX',
consumer_secret='XXXX',
access_token_key='XXXX',
access_token_secret='XXXX')
Coleta do Twitter via Search
resultado = twitter_api.request('search/tweets',
{'q': '#womentechmakers', 'lang': 'en', 'count': '100'})
Coleta do Twitter via Streaming
resultado = twitter_api.request('statuses/filter',
{'track': 'python'})
Dicas
JSON
SimpleJSON
JSONLint
Códigos de resposta
Grafos
Relacionar é preciso
Grafos
Estrutura que demonstra relacionamentos
entre entidades
Vértice Vértice
Aresta
Grafos
Estrutura que demonstra relacionamentos
entre entidades
Maria José
amigos
Grafos
Estrutura que demonstra relacionamentos
entre entidades
Maria José
Rede de amigos
Joana
Ana
Algumas métricas
Degree (grau)
Closeness
Betweenness
Clustering
Page Rank
Voltando as perguntas!
Quais termos estão relacionados ao
#WomenTechmakers?
Quais pessoas são mais influentes dentre
as pessoas que falam sobre o
#WomenTechmakers?
Modelagem - Hashtags
#IWD2015 #WTM
#mulheresNaTecnologia
#tech
Modelagem - Perfis influentes
WomenTechmakers José
Joana
Ana
NetworkX
Biblioteca para grafos: NetworkX
pip install networkx
NetworkX
import networkx as nx
G = nx.Graph()
G.add_node("ana")
G.add_node("joao")
G.add_node("camila")
G.add_edge("ana", "joao")
G.add_edge("ana", "camila")
NetworkX
nx.draw(G)
print G.edges()
nx.write_gml(G, "grafo_hashtag.gml")
Criação do grafo de hashtags
Lê o arquivo de tweets
Extrai as hashtags
Cria uma aresta para as hashtags que
estiverem em um mesmo tweet
Métricas com grafos
Algoritmos e ferramentas
Grau dos vértices
Degree (grau)
Grau de Entrada e Saída
Degree Centrality
Grau dos vértices
Influência
Número de conexões
WomenTechmakers
José
Joana
Ana
Closeness
O quão próximo um vértice está dos demais
Caminhos mínimos
WomenTechmakers
José
Joana
Ana
Closeness
Disseminação de informações
Quem é a pessoa/lugar que irá atingir mais
pessoas?
Grau de clusterização
Capacidade de um nó de conectar-se com os
outros
#IWD2015 #WTM
#mulheresNaTecnologia
#tech
Visualização de dados
O.O
Ferramentas
NetworkX /Matplotlib
Cytoscape
Gephi
iGraph
NetworkX
Gallery
Cytoscape
From Network File > GML
apgomes88@gmail.com
Dúvidas, sugestões, troca de ideias

Mais conteúdo relacionado

Semelhante a Codelab - Análise de Redes Sociais com Python

Ferramentas de Recomendação
Ferramentas de RecomendaçãoFerramentas de Recomendação
Ferramentas de Recomendação
Joao Alqueres
 
Arquitetura de informação
Arquitetura de informaçãoArquitetura de informação
Arquitetura de informação
pospipoca
 

Semelhante a Codelab - Análise de Redes Sociais com Python (20)

Sobre o workshop "Raspagem de dados para mulheres"
Sobre o workshop "Raspagem de dados para mulheres"Sobre o workshop "Raspagem de dados para mulheres"
Sobre o workshop "Raspagem de dados para mulheres"
 
Tdc 2020 Floripa
Tdc 2020 FloripaTdc 2020 Floripa
Tdc 2020 Floripa
 
Proveniência de dados em Workflow de Projetos de Bioinformática
Proveniência de dados em Workflow de Projetos de BioinformáticaProveniência de dados em Workflow de Projetos de Bioinformática
Proveniência de dados em Workflow de Projetos de Bioinformática
 
The Data Science Workflow
The Data Science WorkflowThe Data Science Workflow
The Data Science Workflow
 
Visão Geral De Desenvolvimento Web Sre 2012
Visão Geral De Desenvolvimento Web   Sre 2012Visão Geral De Desenvolvimento Web   Sre 2012
Visão Geral De Desenvolvimento Web Sre 2012
 
Introdução ao Big Data para Desenvolvedores Python
Introdução ao Big Data para Desenvolvedores PythonIntrodução ao Big Data para Desenvolvedores Python
Introdução ao Big Data para Desenvolvedores Python
 
Ciencia de dados na pratica, com transparencia e produtividade
Ciencia de dados na pratica, com transparencia e produtividadeCiencia de dados na pratica, com transparencia e produtividade
Ciencia de dados na pratica, com transparencia e produtividade
 
Como usar Machine Learning no E-commerce com soluções de PaaS e SaaS
 Como usar Machine Learning no E-commerce com soluções de PaaS e SaaS Como usar Machine Learning no E-commerce com soluções de PaaS e SaaS
Como usar Machine Learning no E-commerce com soluções de PaaS e SaaS
 
Nuvem, IoT, Big Data… para onde estamos indo? - Etec Sales - Novembro-2017
Nuvem, IoT, Big Data… para onde estamos indo? - Etec Sales - Novembro-2017Nuvem, IoT, Big Data… para onde estamos indo? - Etec Sales - Novembro-2017
Nuvem, IoT, Big Data… para onde estamos indo? - Etec Sales - Novembro-2017
 
Aula Apresentação PETIC UFAM - Rogerio P C do Nascimento
Aula Apresentação PETIC UFAM - Rogerio P C do NascimentoAula Apresentação PETIC UFAM - Rogerio P C do Nascimento
Aula Apresentação PETIC UFAM - Rogerio P C do Nascimento
 
Graph database - Soluções na literatura e implementações disponíveis
Graph database - Soluções na literatura e implementações disponíveisGraph database - Soluções na literatura e implementações disponíveis
Graph database - Soluções na literatura e implementações disponíveis
 
Data Science & Machine Learning - Python Conference ES 2017
Data Science & Machine Learning - Python Conference ES 2017Data Science & Machine Learning - Python Conference ES 2017
Data Science & Machine Learning - Python Conference ES 2017
 
Ferramentas de Recomendação
Ferramentas de RecomendaçãoFerramentas de Recomendação
Ferramentas de Recomendação
 
Desenvolvendo Aplicativos Sociais
Desenvolvendo Aplicativos SociaisDesenvolvendo Aplicativos Sociais
Desenvolvendo Aplicativos Sociais
 
House of data - TDC Floripa
House of data - TDC FloripaHouse of data - TDC Floripa
House of data - TDC Floripa
 
Profissional de sistemas de informação
Profissional de sistemas de informaçãoProfissional de sistemas de informação
Profissional de sistemas de informação
 
Mini-Curso: Introdução à Big Data e Data Science - Aula 4 - O que é Data Scie...
Mini-Curso: Introdução à Big Data e Data Science - Aula 4 - O que é Data Scie...Mini-Curso: Introdução à Big Data e Data Science - Aula 4 - O que é Data Scie...
Mini-Curso: Introdução à Big Data e Data Science - Aula 4 - O que é Data Scie...
 
TDC2016SP - Trilha Data Science
TDC2016SP - Trilha Data ScienceTDC2016SP - Trilha Data Science
TDC2016SP - Trilha Data Science
 
Arquitetura de informação
Arquitetura de informaçãoArquitetura de informação
Arquitetura de informação
 
Mackenzie - TypeScript
Mackenzie - TypeScript Mackenzie - TypeScript
Mackenzie - TypeScript
 

Codelab - Análise de Redes Sociais com Python