SlideShare uma empresa Scribd logo
1 de 30
Universidade Estadual Paulista
Encontro Internacional Dados,
Tecnologia e Informação
Coletando dados do Twitter via Application
Programming Interface (API)
M.Sc. Fernando de Assis Rodrigues (@orionx7)
Departamento de Ciência da Informação
Faculdade de Filosofia e Ciências
Campus Marília, SP
Fernando de Assis Rodrigues - 2013 2
Este Slide está disponível em
http://www.slideshare.net/orionx7
Fernando de Assis Rodrigues - 2013 3
Objetivos
● Twitter
● API
● Python
● oAuth
● Exemplos
Fernando de Assis Rodrigues - 2013 4
Twitter
● Serviço
● http://twitter.com
● Rede Social
● 2006
● Jack Dorsey, Noah Glass, Evan Williams e Biz Stone
● Permite que seus usuários envie mensagens →
conhecidas como tweets
– Broadcasting: mensagens são enviadas muitos receptores
ao mesmo tempo
●
Fernando de Assis Rodrigues - 2013 5
Twitter
● US$ 140 milhões
● +900 funcionários
● Escritórios em diversas localidades
● Sede em São Francisco, CA - EUA
● Inclusive abrindo um no Brasil
– Jogos Olímpicos, Copa do Mundo...
● 140 milhões de usuários ativos
● 340 milhões de tweets por dia
● Top 5: Indonésia, Brasil, Venezuela, Holanda e Japão
Fernando de Assis Rodrigues - 2013 6
Twitter
● Rede Social
● Perfil privado/público
– Afeta diretamente o broadcasting
● Solicitações de amizade
– Seguidores e seguidos
● Cadastro
– Sem cadastro, pode observar perfil público
Fernando de Assis Rodrigues - 2013 7
Twitter
● Microblogging
● Tweets
– Limitados a 140 caracteres
– Geolocalização*
– Fotografia*
– Hyperlinks*
– Hashtags*
* itens opcionais
Fernando de Assis Rodrigues - 2013 8
Twitter
● Microblogging
● Retweets - “retuitar”
– Passar à frente para seus seguidores tweets de quem
você segue
● Diretamente
● Indiretamente: “RT:”
● Identificação de outros perfis
– Símbolo “@”
● @orionx7 estou ministrando uma oficina sobre api do #twitter
Fernando de Assis Rodrigues - 2013 9
Twitter
● Hashtags
● Usados para agrupar os tweets por tópicos
– Uso do símbolo “#” antes do tópico
● #ficadica
● #ironia
● #saúde
● #vergonha
– Hashtag spam
● Bom dia #bom #dia #bomdia #hahaha #sabadinho #sabado
#galera
Fernando de Assis Rodrigues - 2013 10
Twitter
Fonte: https://blog.twitter.com/2012/twitter-turns-six
Fernando de Assis Rodrigues - 2013 11
Twitter Notícias
Spam
Auto Promoção
“chitchat”
Retweets
Conversas
Fonte: Pear Analytics
Fernando de Assis Rodrigues - 2013 12
Twitter
● Trending Topics
● Análise do próprio twitter sobre os assuntos mais
“tuitados” em um determinado período de tempo
● Principalmente baseado em hashtags e na geolocalização
ou via faixa de ip
● Third-party Apps
● Aplicações que adicionam funcionalidades a estrutura do
Twitter
– http://twitcam.livestream.com – transmissão de vídeos via Twitter
– TweetDeck
Fernando de Assis Rodrigues - 2013 13
Twitter
● Openess
● Possibilidade de utilizar dados do twitter em outros
contextos
– Coletar dados
– Perfis Públicos
Fernando de Assis Rodrigues - 2013 14
Twitter
● Application Programming Interface (API)
● Protocolo para interface entre aplicações
● Permite o acesso aos dados de uma determinada
aplicação por aplicativos ou algoritmos criados por
terceiros
– Regras de negócio
Fernando de Assis Rodrigues - 2013 15
Twitter
DB
Twitter.com
API
TweetDeck
Twitter
Fernando de Assis Rodrigues - 2013 16
Twitter
● Basicamente
● Escrever um algoritmo
– Conecte
– Execute uma ação
– Recupere um dataset
– Seguindo as regras da API
● Twitter: https://dev.twitter.com/docs
Fernando de Assis Rodrigues - 2013 17
Twitter
● oAuth
● Sistema identificação de aplicações necessário
para criar aplicações que usam a base de dados do
Twitter
– https://dev.twitter.com/apps
Fernando de Assis Rodrigues - 2013 18
Twitter
● Create a new application
Fernando de Assis Rodrigues - 2013 19
Twitter
Fernando de Assis Rodrigues - 2013 20
Twitter
Fernando de Assis Rodrigues - 2013 21
Twitter
● Consumer key
● Consumer secret
Fernando de Assis Rodrigues - 2013 22
Twitter
● Criando um token, você autoriza sua nova
aplicação tenha acesso a sua conta do Twitter
Fernando de Assis Rodrigues - 2013 23
Python
Python is a programming language that lets you
work more quickly and integrate your systems
more effectively. You can learn to use Python and
see almost immediate gains in productivity and
lower maintenance costs.
Fernando de Assis Rodrigues - 2013 24
Python
● Instalando o python
● http://www.python.org/
● Instalando o python-oauth2
● https://github.com/simplegeo/python-oauth2
● Ou usando o python-pip
● pip install oauth2
Fernando de Assis Rodrigues - 2013 25
Coletando dados do Twitter via public
streaming
Fernando de Assis Rodrigues - 2013 26
Twitter
● Streaming API
● https://dev.twitter.com/docs/streaming-apis
● JSON – JavaScript Object Notation
– XML
– http://jsonviewer.stack.hu/
● Usando e adaptando o script:
● Gustav Arngården
● http://www.arngarden.com/2012/11/07/consuming-
twitters-streaming-api-using-python-and-curl/
Fernando de Assis Rodrigues - 2013 27
Twitter
1. Usando o script de Gustav Arngården
2. Adaptando o script
a. Parar e ver apenas um post completo
● Visualizando uma resposta em notação JSON
b. Parar e ver apenas alguns atributos de um post
c. Coletando os posts do streaming para um arquivo
CSV
Fernando de Assis Rodrigues - 2013 28
Obrigado!
fernando@elleth.org
@orionx7
Fernando de Assis Rodrigues - 2013 29
Hyperlinks
● http://www.arngarden.com/2012/11/07/consuming-twitters-
streaming-api-using-python-and-curl
●
https://github.com/simplegeo/python-oauth2
●
https://dev.twitter.com/docs/auth/tokens-devtwittercom
●
http://peter-hoffmann.com/2012/simple-twitter-streaming-api-access-
with-python-and-oauth.html
● https://www.google.com/webhp?sourceid=chrome-
instant&client=ubuntu&channel=cs&ion=1&ie=UTF-
8#newwindow=1&safe=off&client=ubuntu&hl=en&channel=cs&sclien
t=psy-ab&q=using%20python-pip%20on
%20windows&oq=&gs_l=&pbx=1&fp=de4d6cf3d1c4e680&ion=1&ba
v=on.2,or.r_cp.r_qf.&bvm=bv.45960087,d.eWU&biw=1366&bih=634
Fernando de Assis Rodrigues - 2013 30
Hyperlinks
● http://jsonviewer.stack.hu/
● http://docs.python.org/2/tutorial/inputoutput.html
#reading-and-writing-files
● http://en.wikipedia.org/wiki/Application_program
ming_interface#Object_API_and_protocols
● http://python.org/

Mais conteúdo relacionado

Mais procurados

Aula Lógica de Programação - cap1
Aula Lógica de Programação - cap1 Aula Lógica de Programação - cap1
Aula Lógica de Programação - cap1 Cloves da Rocha
 
Algoritmos e Técnicas de Programação - Aula 01
Algoritmos e Técnicas de Programação - Aula 01Algoritmos e Técnicas de Programação - Aula 01
Algoritmos e Técnicas de Programação - Aula 01thomasdacosta
 
Metodologias de Desenvolvimento de Software
Metodologias de Desenvolvimento de SoftwareMetodologias de Desenvolvimento de Software
Metodologias de Desenvolvimento de SoftwareÁlvaro Farias Pinheiro
 
Algoritmos e Estrutura de Dados - Aula 01
Algoritmos e Estrutura de Dados - Aula 01Algoritmos e Estrutura de Dados - Aula 01
Algoritmos e Estrutura de Dados - Aula 01thomasdacosta
 
Arquitetura de Hardware
Arquitetura de HardwareArquitetura de Hardware
Arquitetura de HardwareMiguel Correia
 
Introdução a engenharia de software aula 01
Introdução a engenharia de software   aula 01Introdução a engenharia de software   aula 01
Introdução a engenharia de software aula 01Franklin Matos Correia
 
Linguagens de programação
Linguagens de programaçãoLinguagens de programação
Linguagens de programaçãoessa
 
PMI / PMBOK - Gerencia de Projetos (PT-BR)
PMI / PMBOK - Gerencia de Projetos (PT-BR)PMI / PMBOK - Gerencia de Projetos (PT-BR)
PMI / PMBOK - Gerencia de Projetos (PT-BR)André Franciscato Paggi
 
Introducao à Informatica Aplicada
Introducao à Informatica AplicadaIntroducao à Informatica Aplicada
Introducao à Informatica AplicadaClausia Antoneli
 
Estrutura de Dados - Aula 01
Estrutura de Dados - Aula 01Estrutura de Dados - Aula 01
Estrutura de Dados - Aula 01thomasdacosta
 
Algoritmos e Técnicas de Programação - Aula 02
Algoritmos e Técnicas de Programação - Aula 02Algoritmos e Técnicas de Programação - Aula 02
Algoritmos e Técnicas de Programação - Aula 02thomasdacosta
 
Lógica de Programação e Algoritmos
Lógica de Programação e AlgoritmosLógica de Programação e Algoritmos
Lógica de Programação e AlgoritmosMario Jorge Pereira
 
Introdução sobre desenvolvimento web
Introdução sobre desenvolvimento webIntrodução sobre desenvolvimento web
Introdução sobre desenvolvimento webRodrigo Rodrigues
 

Mais procurados (20)

Android - Conceito e Arquitetura
Android - Conceito e ArquiteturaAndroid - Conceito e Arquitetura
Android - Conceito e Arquitetura
 
05-Subsistemas de Cabeamento Estruturado.pdf
05-Subsistemas de Cabeamento Estruturado.pdf05-Subsistemas de Cabeamento Estruturado.pdf
05-Subsistemas de Cabeamento Estruturado.pdf
 
Aula01 - Logica de Programação
Aula01 - Logica de ProgramaçãoAula01 - Logica de Programação
Aula01 - Logica de Programação
 
Aula Lógica de Programação - cap1
Aula Lógica de Programação - cap1 Aula Lógica de Programação - cap1
Aula Lógica de Programação - cap1
 
Algoritmos e Técnicas de Programação - Aula 01
Algoritmos e Técnicas de Programação - Aula 01Algoritmos e Técnicas de Programação - Aula 01
Algoritmos e Técnicas de Programação - Aula 01
 
Metodologias de Desenvolvimento de Software
Metodologias de Desenvolvimento de SoftwareMetodologias de Desenvolvimento de Software
Metodologias de Desenvolvimento de Software
 
Algoritmos e Estrutura de Dados - Aula 01
Algoritmos e Estrutura de Dados - Aula 01Algoritmos e Estrutura de Dados - Aula 01
Algoritmos e Estrutura de Dados - Aula 01
 
Arquitetura de Hardware
Arquitetura de HardwareArquitetura de Hardware
Arquitetura de Hardware
 
Visualg
VisualgVisualg
Visualg
 
Introdução a engenharia de software aula 01
Introdução a engenharia de software   aula 01Introdução a engenharia de software   aula 01
Introdução a engenharia de software aula 01
 
Linguagens de programação
Linguagens de programaçãoLinguagens de programação
Linguagens de programação
 
PMI / PMBOK - Gerencia de Projetos (PT-BR)
PMI / PMBOK - Gerencia de Projetos (PT-BR)PMI / PMBOK - Gerencia de Projetos (PT-BR)
PMI / PMBOK - Gerencia de Projetos (PT-BR)
 
Paradigma funcional
Paradigma funcionalParadigma funcional
Paradigma funcional
 
Introducao à Informatica Aplicada
Introducao à Informatica AplicadaIntroducao à Informatica Aplicada
Introducao à Informatica Aplicada
 
Java script aula 06 - dom
Java script   aula 06 - domJava script   aula 06 - dom
Java script aula 06 - dom
 
Estrutura de Dados - Aula 01
Estrutura de Dados - Aula 01Estrutura de Dados - Aula 01
Estrutura de Dados - Aula 01
 
Algoritmos
AlgoritmosAlgoritmos
Algoritmos
 
Algoritmos e Técnicas de Programação - Aula 02
Algoritmos e Técnicas de Programação - Aula 02Algoritmos e Técnicas de Programação - Aula 02
Algoritmos e Técnicas de Programação - Aula 02
 
Lógica de Programação e Algoritmos
Lógica de Programação e AlgoritmosLógica de Programação e Algoritmos
Lógica de Programação e Algoritmos
 
Introdução sobre desenvolvimento web
Introdução sobre desenvolvimento webIntrodução sobre desenvolvimento web
Introdução sobre desenvolvimento web
 

Destaque

Codelab - Análise de Redes Sociais com Python
Codelab - Análise de Redes Sociais com PythonCodelab - Análise de Redes Sociais com Python
Codelab - Análise de Redes Sociais com PythonAna Paula Gomes
 
Mineração de Opiniões e Análise de Sentimentos
Mineração de Opiniões e Análise de SentimentosMineração de Opiniões e Análise de Sentimentos
Mineração de Opiniões e Análise de Sentimentospraticasdesoftware
 
Minicurso: O que o twitter está pensando? Extraindo informações do twitter ut...
Minicurso: O que o twitter está pensando? Extraindo informações do twitter ut...Minicurso: O que o twitter está pensando? Extraindo informações do twitter ut...
Minicurso: O que o twitter está pensando? Extraindo informações do twitter ut...Adolfo Guimaraes
 
Introdução à Teoria dos Grafos e Análise de Redes Sociais
Introdução à Teoria dos Grafos e Análise de Redes SociaisIntrodução à Teoria dos Grafos e Análise de Redes Sociais
Introdução à Teoria dos Grafos e Análise de Redes Sociaisfabiomalini
 

Destaque (7)

Codelab - Análise de Redes Sociais com Python
Codelab - Análise de Redes Sociais com PythonCodelab - Análise de Redes Sociais com Python
Codelab - Análise de Redes Sociais com Python
 
Mineração de Opiniões e Análise de Sentimentos
Mineração de Opiniões e Análise de SentimentosMineração de Opiniões e Análise de Sentimentos
Mineração de Opiniões e Análise de Sentimentos
 
Extração de Dados do Facebook com o NetVizz
Extração de Dados do Facebook com o NetVizzExtração de Dados do Facebook com o NetVizz
Extração de Dados do Facebook com o NetVizz
 
Minicurso: O que o twitter está pensando? Extraindo informações do twitter ut...
Minicurso: O que o twitter está pensando? Extraindo informações do twitter ut...Minicurso: O que o twitter está pensando? Extraindo informações do twitter ut...
Minicurso: O que o twitter está pensando? Extraindo informações do twitter ut...
 
Introdução à Teoria dos Grafos e Análise de Redes Sociais
Introdução à Teoria dos Grafos e Análise de Redes SociaisIntrodução à Teoria dos Grafos e Análise de Redes Sociais
Introdução à Teoria dos Grafos e Análise de Redes Sociais
 
Python MongoDB no MongoSP
Python MongoDB no MongoSPPython MongoDB no MongoSP
Python MongoDB no MongoSP
 
Angular 2
Angular 2Angular 2
Angular 2
 

Semelhante a Coletando dados do Twitter via Application Programming Interface (API)

Iscad ti 2013_2014_01 - ferramentas de trabalho
Iscad ti 2013_2014_01 - ferramentas de trabalhoIscad ti 2013_2014_01 - ferramentas de trabalho
Iscad ti 2013_2014_01 - ferramentas de trabalhoLuis Vidigal
 
Slide share ferramenta-2.0-by-adriano-cruz
Slide share ferramenta-2.0-by-adriano-cruzSlide share ferramenta-2.0-by-adriano-cruz
Slide share ferramenta-2.0-by-adriano-cruzAdriano Cruz
 
Serviços de Redes Sociais On-line e a Comunicação Científica: visibilidade de...
Serviços de Redes Sociais On-line e a Comunicação Científica: visibilidade de...Serviços de Redes Sociais On-line e a Comunicação Científica: visibilidade de...
Serviços de Redes Sociais On-line e a Comunicação Científica: visibilidade de...Fernando de Assis Rodrigues
 
Segurança no Android
Segurança no AndroidSegurança no Android
Segurança no AndroidEuler Neto
 
Open Source Data Science - Elaborando uma plataforma de Big Data & Analytics ...
Open Source Data Science - Elaborando uma plataforma de Big Data & Analytics ...Open Source Data Science - Elaborando uma plataforma de Big Data & Analytics ...
Open Source Data Science - Elaborando uma plataforma de Big Data & Analytics ...Ambiente Livre
 
Curso Acerj Módulo Jornalismo Esportivo Digital
Curso Acerj Módulo Jornalismo Esportivo Digital  Curso Acerj Módulo Jornalismo Esportivo Digital
Curso Acerj Módulo Jornalismo Esportivo Digital DC Press
 
Primeiros passos para o novo desenvolvedor android
Primeiros passos para o novo desenvolvedor androidPrimeiros passos para o novo desenvolvedor android
Primeiros passos para o novo desenvolvedor androidMessias Batista
 
Intranet vidigal ina_2010
Intranet vidigal ina_2010Intranet vidigal ina_2010
Intranet vidigal ina_2010Luis Vidigal
 
WordPress para Desenvolvedores - Utilizando WP como framework de desenvolvime...
WordPress para Desenvolvedores - Utilizando WP como framework de desenvolvime...WordPress para Desenvolvedores - Utilizando WP como framework de desenvolvime...
WordPress para Desenvolvedores - Utilizando WP como framework de desenvolvime...George Mendonça
 
slide linked in e myspace
slide linked in e myspaceslide linked in e myspace
slide linked in e myspacecarol0309
 
Pentaho: Inteligência de Negócios utilizando Software Livre - FliSOL São Paul...
Pentaho: Inteligência de Negócios utilizando Software Livre - FliSOL São Paul...Pentaho: Inteligência de Negócios utilizando Software Livre - FliSOL São Paul...
Pentaho: Inteligência de Negócios utilizando Software Livre - FliSOL São Paul...Caio Moreno
 
Pentaho: Inteligência de Negócios utilizando Software Livre - FliSOL São Paul...
Pentaho: Inteligência de Negócios utilizando Software Livre - FliSOL São Paul...Pentaho: Inteligência de Negócios utilizando Software Livre - FliSOL São Paul...
Pentaho: Inteligência de Negócios utilizando Software Livre - FliSOL São Paul...IT4biz IT Solutions
 
Palestra: Desenvolvendo apps Android
Palestra: Desenvolvendo apps AndroidPalestra: Desenvolvendo apps Android
Palestra: Desenvolvendo apps AndroidJanynne Gomes
 
Transformando ideias em inovação_ saiba tudo sobre o HyperHack.pptx
Transformando ideias em inovação_ saiba tudo sobre o HyperHack.pptxTransformando ideias em inovação_ saiba tudo sobre o HyperHack.pptx
Transformando ideias em inovação_ saiba tudo sobre o HyperHack.pptxBrunaCavalcanti29
 
Microsoft opensource
Microsoft opensourceMicrosoft opensource
Microsoft opensourceCDS
 
Women Techmakers São Paulo
Women Techmakers São PauloWomen Techmakers São Paulo
Women Techmakers São PauloBruna Griebeler
 
Análise de dados com R - TDC 2015
Análise de dados com R - TDC 2015Análise de dados com R - TDC 2015
Análise de dados com R - TDC 2015Rodrigo Ribeiro
 

Semelhante a Coletando dados do Twitter via Application Programming Interface (API) (20)

Iscad ti 2013_2014_01 - ferramentas de trabalho
Iscad ti 2013_2014_01 - ferramentas de trabalhoIscad ti 2013_2014_01 - ferramentas de trabalho
Iscad ti 2013_2014_01 - ferramentas de trabalho
 
Coleta de dados, redes e privacidade
Coleta de dados, redes e privacidadeColeta de dados, redes e privacidade
Coleta de dados, redes e privacidade
 
Slide share ferramenta-2.0-by-adriano-cruz
Slide share ferramenta-2.0-by-adriano-cruzSlide share ferramenta-2.0-by-adriano-cruz
Slide share ferramenta-2.0-by-adriano-cruz
 
Serviços de Redes Sociais On-line e a Comunicação Científica: visibilidade de...
Serviços de Redes Sociais On-line e a Comunicação Científica: visibilidade de...Serviços de Redes Sociais On-line e a Comunicação Científica: visibilidade de...
Serviços de Redes Sociais On-line e a Comunicação Científica: visibilidade de...
 
Segurança no Android
Segurança no AndroidSegurança no Android
Segurança no Android
 
Open Source Data Science - Elaborando uma plataforma de Big Data & Analytics ...
Open Source Data Science - Elaborando uma plataforma de Big Data & Analytics ...Open Source Data Science - Elaborando uma plataforma de Big Data & Analytics ...
Open Source Data Science - Elaborando uma plataforma de Big Data & Analytics ...
 
Curso Acerj Módulo Jornalismo Esportivo Digital
Curso Acerj Módulo Jornalismo Esportivo Digital  Curso Acerj Módulo Jornalismo Esportivo Digital
Curso Acerj Módulo Jornalismo Esportivo Digital
 
Scrum
ScrumScrum
Scrum
 
Primeiros passos para o novo desenvolvedor android
Primeiros passos para o novo desenvolvedor androidPrimeiros passos para o novo desenvolvedor android
Primeiros passos para o novo desenvolvedor android
 
Intranet vidigal ina_2010
Intranet vidigal ina_2010Intranet vidigal ina_2010
Intranet vidigal ina_2010
 
WordPress para Desenvolvedores - Utilizando WP como framework de desenvolvime...
WordPress para Desenvolvedores - Utilizando WP como framework de desenvolvime...WordPress para Desenvolvedores - Utilizando WP como framework de desenvolvime...
WordPress para Desenvolvedores - Utilizando WP como framework de desenvolvime...
 
Carreira de TI
Carreira de TICarreira de TI
Carreira de TI
 
slide linked in e myspace
slide linked in e myspaceslide linked in e myspace
slide linked in e myspace
 
Pentaho: Inteligência de Negócios utilizando Software Livre - FliSOL São Paul...
Pentaho: Inteligência de Negócios utilizando Software Livre - FliSOL São Paul...Pentaho: Inteligência de Negócios utilizando Software Livre - FliSOL São Paul...
Pentaho: Inteligência de Negócios utilizando Software Livre - FliSOL São Paul...
 
Pentaho: Inteligência de Negócios utilizando Software Livre - FliSOL São Paul...
Pentaho: Inteligência de Negócios utilizando Software Livre - FliSOL São Paul...Pentaho: Inteligência de Negócios utilizando Software Livre - FliSOL São Paul...
Pentaho: Inteligência de Negócios utilizando Software Livre - FliSOL São Paul...
 
Palestra: Desenvolvendo apps Android
Palestra: Desenvolvendo apps AndroidPalestra: Desenvolvendo apps Android
Palestra: Desenvolvendo apps Android
 
Transformando ideias em inovação_ saiba tudo sobre o HyperHack.pptx
Transformando ideias em inovação_ saiba tudo sobre o HyperHack.pptxTransformando ideias em inovação_ saiba tudo sobre o HyperHack.pptx
Transformando ideias em inovação_ saiba tudo sobre o HyperHack.pptx
 
Microsoft opensource
Microsoft opensourceMicrosoft opensource
Microsoft opensource
 
Women Techmakers São Paulo
Women Techmakers São PauloWomen Techmakers São Paulo
Women Techmakers São Paulo
 
Análise de dados com R - TDC 2015
Análise de dados com R - TDC 2015Análise de dados com R - TDC 2015
Análise de dados com R - TDC 2015
 

Mais de Fernando de Assis Rodrigues

Perspectivas e impasses na salvaguarda e preservação documental pós Medida Pr...
Perspectivas e impasses na salvaguarda e preservação documental pós Medida Pr...Perspectivas e impasses na salvaguarda e preservação documental pós Medida Pr...
Perspectivas e impasses na salvaguarda e preservação documental pós Medida Pr...Fernando de Assis Rodrigues
 
Ficção Científica e Realidade da Coleta de Dados em Redes Sociais Online: aná...
Ficção Científica e Realidade da Coleta de Dados em Redes Sociais Online: aná...Ficção Científica e Realidade da Coleta de Dados em Redes Sociais Online: aná...
Ficção Científica e Realidade da Coleta de Dados em Redes Sociais Online: aná...Fernando de Assis Rodrigues
 
Interseções entre Coleta de Dados e Redes Sociais Online
Interseções entre Coleta de Dados e Redes Sociais OnlineInterseções entre Coleta de Dados e Redes Sociais Online
Interseções entre Coleta de Dados e Redes Sociais OnlineFernando de Assis Rodrigues
 
Ficção Científica e Realidade da Coleta de Dados em Redes Sociais Online: aná...
Ficção Científica e Realidade da Coleta de Dados em Redes Sociais Online: aná...Ficção Científica e Realidade da Coleta de Dados em Redes Sociais Online: aná...
Ficção Científica e Realidade da Coleta de Dados em Redes Sociais Online: aná...Fernando de Assis Rodrigues
 
2018 uel-apresentacao-coleta redes-sociais_online
2018 uel-apresentacao-coleta redes-sociais_online2018 uel-apresentacao-coleta redes-sociais_online
2018 uel-apresentacao-coleta redes-sociais_onlineFernando de Assis Rodrigues
 
Fundamentos teóricos para coleta de dados de redes sociais online
Fundamentos teóricos para coleta de dados de redes sociais onlineFundamentos teóricos para coleta de dados de redes sociais online
Fundamentos teóricos para coleta de dados de redes sociais onlineFernando de Assis Rodrigues
 
Identifying semantics characteristics of user’s interactions datasets through...
Identifying semantics characteristics of user’s interactions datasets through...Identifying semantics characteristics of user’s interactions datasets through...
Identifying semantics characteristics of user’s interactions datasets through...Fernando de Assis Rodrigues
 
Open Source e Open Platform: potenciais catalizadores para uso de Internet da...
Open Source e Open Platform: potenciais catalizadores para uso de Internet da...Open Source e Open Platform: potenciais catalizadores para uso de Internet da...
Open Source e Open Platform: potenciais catalizadores para uso de Internet da...Fernando de Assis Rodrigues
 
Metadados em objetos digitais: conceitos e indexação na Web
Metadados em objetos digitais: conceitos e indexação na WebMetadados em objetos digitais: conceitos e indexação na Web
Metadados em objetos digitais: conceitos e indexação na WebFernando de Assis Rodrigues
 
Aplicações da Teoria dos Grafos em coletas de dados
Aplicações da Teoria dos Grafos em coletas de dadosAplicações da Teoria dos Grafos em coletas de dados
Aplicações da Teoria dos Grafos em coletas de dadosFernando de Assis Rodrigues
 
Contextualização de conceitos teóricos no processo de coleta de dados de Rede...
Contextualização de conceitos teóricos no processo de coleta de dados de Rede...Contextualização de conceitos teóricos no processo de coleta de dados de Rede...
Contextualização de conceitos teóricos no processo de coleta de dados de Rede...Fernando de Assis Rodrigues
 
Pontos de contato entre a Esfera Pública e Instituições: reflexões sobre pote...
Pontos de contato entre a Esfera Pública e Instituições: reflexões sobre pote...Pontos de contato entre a Esfera Pública e Instituições: reflexões sobre pote...
Pontos de contato entre a Esfera Pública e Instituições: reflexões sobre pote...Fernando de Assis Rodrigues
 
Categorização de elementos de privacidade identificados nos termos de uso de ...
Categorização de elementos de privacidade identificados nos termos de uso de ...Categorização de elementos de privacidade identificados nos termos de uso de ...
Categorização de elementos de privacidade identificados nos termos de uso de ...Fernando de Assis Rodrigues
 
ANÁLISE DA COLETA DE DADOS EM REDES SOCIAIS: aspectos de privacidade de dados...
ANÁLISE DA COLETA DE DADOS EM REDES SOCIAIS: aspectos de privacidade de dados...ANÁLISE DA COLETA DE DADOS EM REDES SOCIAIS: aspectos de privacidade de dados...
ANÁLISE DA COLETA DE DADOS EM REDES SOCIAIS: aspectos de privacidade de dados...Fernando de Assis Rodrigues
 
ACESSO ÀS INFORMAÇÕES SOBRE AGRICULTURA FAMILIAR NA WEB
ACESSO ÀS INFORMAÇÕES SOBRE AGRICULTURA FAMILIAR NA WEBACESSO ÀS INFORMAÇÕES SOBRE AGRICULTURA FAMILIAR NA WEB
ACESSO ÀS INFORMAÇÕES SOBRE AGRICULTURA FAMILIAR NA WEBFernando de Assis Rodrigues
 
O USO DE DADOS PÚBLICOS PARA O ACOMPANHAMENTO DA ATIVIDADE PARLAMENTAR
O USO DE DADOS PÚBLICOS PARA O ACOMPANHAMENTO DA ATIVIDADE PARLAMENTARO USO DE DADOS PÚBLICOS PARA O ACOMPANHAMENTO DA ATIVIDADE PARLAMENTAR
O USO DE DADOS PÚBLICOS PARA O ACOMPANHAMENTO DA ATIVIDADE PARLAMENTARFernando de Assis Rodrigues
 

Mais de Fernando de Assis Rodrigues (20)

Perspectivas e impasses na salvaguarda e preservação documental pós Medida Pr...
Perspectivas e impasses na salvaguarda e preservação documental pós Medida Pr...Perspectivas e impasses na salvaguarda e preservação documental pós Medida Pr...
Perspectivas e impasses na salvaguarda e preservação documental pós Medida Pr...
 
Ficção Científica e Realidade da Coleta de Dados em Redes Sociais Online: aná...
Ficção Científica e Realidade da Coleta de Dados em Redes Sociais Online: aná...Ficção Científica e Realidade da Coleta de Dados em Redes Sociais Online: aná...
Ficção Científica e Realidade da Coleta de Dados em Redes Sociais Online: aná...
 
Interseções entre Coleta de Dados e Redes Sociais Online
Interseções entre Coleta de Dados e Redes Sociais OnlineInterseções entre Coleta de Dados e Redes Sociais Online
Interseções entre Coleta de Dados e Redes Sociais Online
 
Ficção Científica e Realidade da Coleta de Dados em Redes Sociais Online: aná...
Ficção Científica e Realidade da Coleta de Dados em Redes Sociais Online: aná...Ficção Científica e Realidade da Coleta de Dados em Redes Sociais Online: aná...
Ficção Científica e Realidade da Coleta de Dados em Redes Sociais Online: aná...
 
2018 uel-apresentacao-coleta redes-sociais_online
2018 uel-apresentacao-coleta redes-sociais_online2018 uel-apresentacao-coleta redes-sociais_online
2018 uel-apresentacao-coleta redes-sociais_online
 
Processo de Acesso a Dados e suas fases
Processo de Acesso a Dados e suas fasesProcesso de Acesso a Dados e suas fases
Processo de Acesso a Dados e suas fases
 
Fundamentos teóricos para coleta de dados de redes sociais online
Fundamentos teóricos para coleta de dados de redes sociais onlineFundamentos teóricos para coleta de dados de redes sociais online
Fundamentos teóricos para coleta de dados de redes sociais online
 
Identifying semantics characteristics of user’s interactions datasets through...
Identifying semantics characteristics of user’s interactions datasets through...Identifying semantics characteristics of user’s interactions datasets through...
Identifying semantics characteristics of user’s interactions datasets through...
 
Open Source e Open Platform: potenciais catalizadores para uso de Internet da...
Open Source e Open Platform: potenciais catalizadores para uso de Internet da...Open Source e Open Platform: potenciais catalizadores para uso de Internet da...
Open Source e Open Platform: potenciais catalizadores para uso de Internet da...
 
Coleta de Dados em Redes Sociais
Coleta de Dados em Redes SociaisColeta de Dados em Redes Sociais
Coleta de Dados em Redes Sociais
 
Metadados em objetos digitais: conceitos e indexação na Web
Metadados em objetos digitais: conceitos e indexação na WebMetadados em objetos digitais: conceitos e indexação na Web
Metadados em objetos digitais: conceitos e indexação na Web
 
Metadados e Interoperabilidade
Metadados e InteroperabilidadeMetadados e Interoperabilidade
Metadados e Interoperabilidade
 
Aplicações da Teoria dos Grafos em coletas de dados
Aplicações da Teoria dos Grafos em coletas de dadosAplicações da Teoria dos Grafos em coletas de dados
Aplicações da Teoria dos Grafos em coletas de dados
 
Raspagem de dados em websites governamentais
Raspagem de dados em websites governamentaisRaspagem de dados em websites governamentais
Raspagem de dados em websites governamentais
 
Contextualização de conceitos teóricos no processo de coleta de dados de Rede...
Contextualização de conceitos teóricos no processo de coleta de dados de Rede...Contextualização de conceitos teóricos no processo de coleta de dados de Rede...
Contextualização de conceitos teóricos no processo de coleta de dados de Rede...
 
Pontos de contato entre a Esfera Pública e Instituições: reflexões sobre pote...
Pontos de contato entre a Esfera Pública e Instituições: reflexões sobre pote...Pontos de contato entre a Esfera Pública e Instituições: reflexões sobre pote...
Pontos de contato entre a Esfera Pública e Instituições: reflexões sobre pote...
 
Categorização de elementos de privacidade identificados nos termos de uso de ...
Categorização de elementos de privacidade identificados nos termos de uso de ...Categorização de elementos de privacidade identificados nos termos de uso de ...
Categorização de elementos de privacidade identificados nos termos de uso de ...
 
ANÁLISE DA COLETA DE DADOS EM REDES SOCIAIS: aspectos de privacidade de dados...
ANÁLISE DA COLETA DE DADOS EM REDES SOCIAIS: aspectos de privacidade de dados...ANÁLISE DA COLETA DE DADOS EM REDES SOCIAIS: aspectos de privacidade de dados...
ANÁLISE DA COLETA DE DADOS EM REDES SOCIAIS: aspectos de privacidade de dados...
 
ACESSO ÀS INFORMAÇÕES SOBRE AGRICULTURA FAMILIAR NA WEB
ACESSO ÀS INFORMAÇÕES SOBRE AGRICULTURA FAMILIAR NA WEBACESSO ÀS INFORMAÇÕES SOBRE AGRICULTURA FAMILIAR NA WEB
ACESSO ÀS INFORMAÇÕES SOBRE AGRICULTURA FAMILIAR NA WEB
 
O USO DE DADOS PÚBLICOS PARA O ACOMPANHAMENTO DA ATIVIDADE PARLAMENTAR
O USO DE DADOS PÚBLICOS PARA O ACOMPANHAMENTO DA ATIVIDADE PARLAMENTARO USO DE DADOS PÚBLICOS PARA O ACOMPANHAMENTO DA ATIVIDADE PARLAMENTAR
O USO DE DADOS PÚBLICOS PARA O ACOMPANHAMENTO DA ATIVIDADE PARLAMENTAR
 

Coletando dados do Twitter via Application Programming Interface (API)

  • 1. Universidade Estadual Paulista Encontro Internacional Dados, Tecnologia e Informação Coletando dados do Twitter via Application Programming Interface (API) M.Sc. Fernando de Assis Rodrigues (@orionx7) Departamento de Ciência da Informação Faculdade de Filosofia e Ciências Campus Marília, SP
  • 2. Fernando de Assis Rodrigues - 2013 2 Este Slide está disponível em http://www.slideshare.net/orionx7
  • 3. Fernando de Assis Rodrigues - 2013 3 Objetivos ● Twitter ● API ● Python ● oAuth ● Exemplos
  • 4. Fernando de Assis Rodrigues - 2013 4 Twitter ● Serviço ● http://twitter.com ● Rede Social ● 2006 ● Jack Dorsey, Noah Glass, Evan Williams e Biz Stone ● Permite que seus usuários envie mensagens → conhecidas como tweets – Broadcasting: mensagens são enviadas muitos receptores ao mesmo tempo ●
  • 5. Fernando de Assis Rodrigues - 2013 5 Twitter ● US$ 140 milhões ● +900 funcionários ● Escritórios em diversas localidades ● Sede em São Francisco, CA - EUA ● Inclusive abrindo um no Brasil – Jogos Olímpicos, Copa do Mundo... ● 140 milhões de usuários ativos ● 340 milhões de tweets por dia ● Top 5: Indonésia, Brasil, Venezuela, Holanda e Japão
  • 6. Fernando de Assis Rodrigues - 2013 6 Twitter ● Rede Social ● Perfil privado/público – Afeta diretamente o broadcasting ● Solicitações de amizade – Seguidores e seguidos ● Cadastro – Sem cadastro, pode observar perfil público
  • 7. Fernando de Assis Rodrigues - 2013 7 Twitter ● Microblogging ● Tweets – Limitados a 140 caracteres – Geolocalização* – Fotografia* – Hyperlinks* – Hashtags* * itens opcionais
  • 8. Fernando de Assis Rodrigues - 2013 8 Twitter ● Microblogging ● Retweets - “retuitar” – Passar à frente para seus seguidores tweets de quem você segue ● Diretamente ● Indiretamente: “RT:” ● Identificação de outros perfis – Símbolo “@” ● @orionx7 estou ministrando uma oficina sobre api do #twitter
  • 9. Fernando de Assis Rodrigues - 2013 9 Twitter ● Hashtags ● Usados para agrupar os tweets por tópicos – Uso do símbolo “#” antes do tópico ● #ficadica ● #ironia ● #saúde ● #vergonha – Hashtag spam ● Bom dia #bom #dia #bomdia #hahaha #sabadinho #sabado #galera
  • 10. Fernando de Assis Rodrigues - 2013 10 Twitter Fonte: https://blog.twitter.com/2012/twitter-turns-six
  • 11. Fernando de Assis Rodrigues - 2013 11 Twitter Notícias Spam Auto Promoção “chitchat” Retweets Conversas Fonte: Pear Analytics
  • 12. Fernando de Assis Rodrigues - 2013 12 Twitter ● Trending Topics ● Análise do próprio twitter sobre os assuntos mais “tuitados” em um determinado período de tempo ● Principalmente baseado em hashtags e na geolocalização ou via faixa de ip ● Third-party Apps ● Aplicações que adicionam funcionalidades a estrutura do Twitter – http://twitcam.livestream.com – transmissão de vídeos via Twitter – TweetDeck
  • 13. Fernando de Assis Rodrigues - 2013 13 Twitter ● Openess ● Possibilidade de utilizar dados do twitter em outros contextos – Coletar dados – Perfis Públicos
  • 14. Fernando de Assis Rodrigues - 2013 14 Twitter ● Application Programming Interface (API) ● Protocolo para interface entre aplicações ● Permite o acesso aos dados de uma determinada aplicação por aplicativos ou algoritmos criados por terceiros – Regras de negócio
  • 15. Fernando de Assis Rodrigues - 2013 15 Twitter DB Twitter.com API TweetDeck Twitter
  • 16. Fernando de Assis Rodrigues - 2013 16 Twitter ● Basicamente ● Escrever um algoritmo – Conecte – Execute uma ação – Recupere um dataset – Seguindo as regras da API ● Twitter: https://dev.twitter.com/docs
  • 17. Fernando de Assis Rodrigues - 2013 17 Twitter ● oAuth ● Sistema identificação de aplicações necessário para criar aplicações que usam a base de dados do Twitter – https://dev.twitter.com/apps
  • 18. Fernando de Assis Rodrigues - 2013 18 Twitter ● Create a new application
  • 19. Fernando de Assis Rodrigues - 2013 19 Twitter
  • 20. Fernando de Assis Rodrigues - 2013 20 Twitter
  • 21. Fernando de Assis Rodrigues - 2013 21 Twitter ● Consumer key ● Consumer secret
  • 22. Fernando de Assis Rodrigues - 2013 22 Twitter ● Criando um token, você autoriza sua nova aplicação tenha acesso a sua conta do Twitter
  • 23. Fernando de Assis Rodrigues - 2013 23 Python Python is a programming language that lets you work more quickly and integrate your systems more effectively. You can learn to use Python and see almost immediate gains in productivity and lower maintenance costs.
  • 24. Fernando de Assis Rodrigues - 2013 24 Python ● Instalando o python ● http://www.python.org/ ● Instalando o python-oauth2 ● https://github.com/simplegeo/python-oauth2 ● Ou usando o python-pip ● pip install oauth2
  • 25. Fernando de Assis Rodrigues - 2013 25 Coletando dados do Twitter via public streaming
  • 26. Fernando de Assis Rodrigues - 2013 26 Twitter ● Streaming API ● https://dev.twitter.com/docs/streaming-apis ● JSON – JavaScript Object Notation – XML – http://jsonviewer.stack.hu/ ● Usando e adaptando o script: ● Gustav Arngården ● http://www.arngarden.com/2012/11/07/consuming- twitters-streaming-api-using-python-and-curl/
  • 27. Fernando de Assis Rodrigues - 2013 27 Twitter 1. Usando o script de Gustav Arngården 2. Adaptando o script a. Parar e ver apenas um post completo ● Visualizando uma resposta em notação JSON b. Parar e ver apenas alguns atributos de um post c. Coletando os posts do streaming para um arquivo CSV
  • 28. Fernando de Assis Rodrigues - 2013 28 Obrigado! fernando@elleth.org @orionx7
  • 29. Fernando de Assis Rodrigues - 2013 29 Hyperlinks ● http://www.arngarden.com/2012/11/07/consuming-twitters- streaming-api-using-python-and-curl ● https://github.com/simplegeo/python-oauth2 ● https://dev.twitter.com/docs/auth/tokens-devtwittercom ● http://peter-hoffmann.com/2012/simple-twitter-streaming-api-access- with-python-and-oauth.html ● https://www.google.com/webhp?sourceid=chrome- instant&client=ubuntu&channel=cs&ion=1&ie=UTF- 8#newwindow=1&safe=off&client=ubuntu&hl=en&channel=cs&sclien t=psy-ab&q=using%20python-pip%20on %20windows&oq=&gs_l=&pbx=1&fp=de4d6cf3d1c4e680&ion=1&ba v=on.2,or.r_cp.r_qf.&bvm=bv.45960087,d.eWU&biw=1366&bih=634
  • 30. Fernando de Assis Rodrigues - 2013 30 Hyperlinks ● http://jsonviewer.stack.hu/ ● http://docs.python.org/2/tutorial/inputoutput.html #reading-and-writing-files ● http://en.wikipedia.org/wiki/Application_program ming_interface#Object_API_and_protocols ● http://python.org/