Coletando dados do Twitter via Application Programming Interface (API)

Universidade Estadual Paulista
Encontro Internacional Dados,
Tecnologia e Informação
Coletando dados do Twitter via Application
Programming Interface (API)
M.Sc. Fernando de Assis Rodrigues (@orionx7)
Departamento de Ciência da Informação
Faculdade de Filosofia e Ciências
Campus Marília, SP

Fernando de Assis Rodrigues - 2013 2
Este Slide está disponível em
http://www.slideshare.net/orionx7

Objetivos
● Twitter
● API
● Python
● oAuth
● Exemplos

Twitter
● Serviço
● http://twitter.com
● Rede Social
● 2006
● Jack Dorsey, Noah Glass, Evan Williams e Biz Stone
● Permite que seus usuários envie mensagens →
conhecidas como tweets
– Broadcasting: mensagens são enviadas muitos receptores
ao mesmo tempo
●

Twitter
● US$ 140 milhões
● +900 funcionários
● Escritórios em diversas localidades
● Sede em São Francisco, CA - EUA
● Inclusive abrindo um no Brasil
– Jogos Olímpicos, Copa do Mundo...
● 140 milhões de usuários ativos
● 340 milhões de tweets por dia
● Top 5: Indonésia, Brasil, Venezuela, Holanda e Japão

Twitter
● Rede Social
● Perfil privado/público
– Afeta diretamente o broadcasting
● Solicitações de amizade
– Seguidores e seguidos
● Cadastro
– Sem cadastro, pode observar perfil público

Twitter
● Microblogging
● Tweets
– Limitados a 140 caracteres
– Geolocalização*
– Fotografia*
– Hyperlinks*
– Hashtags*
* itens opcionais

Twitter
● Microblogging
● Retweets - “retuitar”
– Passar à frente para seus seguidores tweets de quem
você segue
● Diretamente
● Indiretamente: “RT:”
● Identificação de outros perfis
– Símbolo “@”
● @orionx7 estou ministrando uma oficina sobre api do #twitter

Twitter
● Hashtags
● Usados para agrupar os tweets por tópicos
– Uso do símbolo “#” antes do tópico
● #ficadica
● #ironia
● #saúde
● #vergonha
– Hashtag spam
● Bom dia #bom #dia #bomdia #hahaha #sabadinho #sabado
#galera

Twitter
Fonte: https://blog.twitter.com/2012/twitter-turns-six

Twitter Notícias
Spam
Auto Promoção
“chitchat”
Retweets
Conversas
Fonte: Pear Analytics

Twitter
● Trending Topics
● Análise do próprio twitter sobre os assuntos mais
“tuitados” em um determinado período de tempo
● Principalmente baseado em hashtags e na geolocalização
ou via faixa de ip
● Third-party Apps
● Aplicações que adicionam funcionalidades a estrutura do
Twitter
– http://twitcam.livestream.com – transmissão de vídeos via Twitter
– TweetDeck

Twitter
● Openess
● Possibilidade de utilizar dados do twitter em outros
contextos
– Coletar dados
– Perfis Públicos

Twitter
● Application Programming Interface (API)
● Protocolo para interface entre aplicações
● Permite o acesso aos dados de uma determinada
aplicação por aplicativos ou algoritmos criados por
terceiros
– Regras de negócio

Twitter
DB
Twitter.com
API
TweetDeck
Twitter

Twitter
● Basicamente
● Escrever um algoritmo
– Conecte
– Execute uma ação
– Recupere um dataset
– Seguindo as regras da API
● Twitter: https://dev.twitter.com/docs

Twitter
● oAuth
● Sistema identificação de aplicações necessário
para criar aplicações que usam a base de dados do
Twitter
– https://dev.twitter.com/apps

Twitter
● Create a new application

Twitter

Twitter
● Consumer key
● Consumer secret

Twitter
● Criando um token, você autoriza sua nova
aplicação tenha acesso a sua conta do Twitter

Python
Python is a programming language that lets you
work more quickly and integrate your systems
more effectively. You can learn to use Python and
see almost immediate gains in productivity and
lower maintenance costs.

Python
● Instalando o python
● http://www.python.org/
● Instalando o python-oauth2
● https://github.com/simplegeo/python-oauth2
● Ou usando o python-pip
● pip install oauth2

Coletando dados do Twitter via public
streaming

Twitter
● Streaming API
● https://dev.twitter.com/docs/streaming-apis
● JSON – JavaScript Object Notation
– XML
– http://jsonviewer.stack.hu/
● Usando e adaptando o script:
● Gustav Arngården
● http://www.arngarden.com/2012/11/07/consuming-
twitters-streaming-api-using-python-and-curl/

Twitter
1. Usando o script de Gustav Arngården
2. Adaptando o script
a. Parar e ver apenas um post completo
● Visualizando uma resposta em notação JSON
b. Parar e ver apenas alguns atributos de um post
c. Coletando os posts do streaming para um arquivo
CSV

Obrigado!
fernando@elleth.org
@orionx7

Hyperlinks
● http://www.arngarden.com/2012/11/07/consuming-twitters-
streaming-api-using-python-and-curl
●
https://github.com/simplegeo/python-oauth2
●
https://dev.twitter.com/docs/auth/tokens-devtwittercom
●
http://peter-hoffmann.com/2012/simple-twitter-streaming-api-access-
with-python-and-oauth.html
● https://www.google.com/webhp?sourceid=chrome-
instant&client=ubuntu&channel=cs&ion=1&ie=UTF-
8#newwindow=1&safe=off&client=ubuntu&hl=en&channel=cs&sclien
t=psy-ab&q=using%20python-pip%20on
%20windows&oq=&gs_l=&pbx=1&fp=de4d6cf3d1c4e680&ion=1&ba
v=on.2,or.r_cp.r_qf.&bvm=bv.45960087,d.eWU&biw=1366&bih=634

Hyperlinks
● http://jsonviewer.stack.hu/
● http://docs.python.org/2/tutorial/inputoutput.html
#reading-and-writing-files
● http://en.wikipedia.org/wiki/Application_program
ming_interface#Object_API_and_protocols
● http://python.org/

Coletando dados do Twitter via Application Programming Interface (API)

Mais conteúdo relacionado

Semelhante a Coletando dados do Twitter via Application Programming Interface (API)

Mais de Fernando de Assis Rodrigues

Coletando dados do Twitter via Application Programming Interface (API)