SlideShare uma empresa Scribd logo

Scraping for fun and glory

I
italomaia

O documento apresenta uma palestra sobre scraping. O palestrante explica o que é scraping, como funciona e dá exemplos práticos de como extrair informações de sites, como imagens de quadrinhos. Ele também discute ferramentas como Beautiful Soup e Scrapy que podem facilitar a criação de programas para scraping.

1 de 42
Baixar para ler offline
Se Não Pode Ser Copiado,
Não Existe – By Italo Maia
Scraping
For Fun And Glory!
BZZ BZZ
Scraping for fun and glory
VOCÊ
PROGRAMA
Desenvolvedor
Web, Mobile, Desktop
Membro
PugCE, ForHacker, DjangoBrasil
Gosta
Promoção, Ler, Chuva
Scraping for fun and glory
Scraping for fun and glory
Esse é muito bom!
Scraping for fun and glory
Scraping for fun and glory
Scraping for fun and glory
BAD
HTML
BeaufitulSoup
FireBug
Facinho
Referências sem
domínio
HTTP Errors
Bloqueio de acesso
Cookies
Autenticação
Parâmetros dinâmicos
CRAWLING
Scraping for fun and glory
Como
que faz?
Maneiro!
Scraping for fun and glory
Obrigado!
Se Não Pode Ser Copiado,
Não Existe – By Italo Maia
Scraping
For Fun And Glory!
BZZ BZZ
Muito bom dia! Sejam bem vindos à mais um Flisol.
Que bom que tanta gente conseguiu acordar cedo
para ver as primeiras palestras.
O nome da palestra que vou ministrar é Scraping for
Fun and Glory; nela, nosso assunto é scraping.
Scraping ou Web Scraping é como chamamos o
conjunto de técnicas utilizadas para se extrair
informação da internet, como links, imagens ou
mesmo texto. O Google, por exemplo, é uma
empresa muito famosa que se utiliza dessa técnica
fortemente no seu processo de “page ranking” e
indexação de conteúdo.
VOCÊ
PROGRAMA
A ideia é se utilizar de um programa, que fará
acessos aos sites que possuem a informação que
você deseja como se fosse um usuário real. Toda
vez que ele acessar uma página, ele vai receber a
informação que um usuário receberia em seu
navegador, e vai buscar aquilo que é importante e
descartar o resto.
Outra habilidade importante que um spider deve ter é
a capacidade de seguir links, pois eles podem
levá-lo à mais informação útil.
Desenvolvedor
Web, Mobile, Desktop
Membro
PugCE, ForHacker, DjangoBrasil
Gosta
Promoção, Ler, Chuva
Antes de começar, gostaria de falar um pouco de
mim. Meu nome é Italo Maia, sou desenvolvedor a
10 anos, possuo projetos em diversas linguagens,
muitos deles no github, e tive oportunidade,
recentemente, de trabalhar no maior ecommerce
do Brasil, onde pude aprender muito sobre o
assunto, inclusive, como o scraping é importante
para esse tipo de negócio.
Esse ano participei do último python-brasil, em recife,
e nele, pude ver o interesse das pessoas sobre o
assunto desta palestra. Por isso resolvi
compartilhar um pouco do que aprendi ao longo
dos anos sobre o assunto aqui.
Meu primeiro contato com scraping foi a muito tempo
atrás, quando um americano me pediu um serviço.
Ele era um apostador profissional e me pediu um
programa capaz de buscar os resultados de
partidas esportivas em um site e armazená-los em
alguma forma estruturada fácil de ler.
Lembro que não consegui atendê-lo pois meu óculos
quebrou no dia seguinte e eu não enxergava a tela
do computador no meu antigo monitor. Foi horrível.
Mas lembro também que achei muito interessante a
ideia dele, de utilizar informação livremente
disponível na internet de forma organizada.
Se vocês prestaram atenção no terceiro slide, vão
lembrar que eu disse que gosto de ler. Bem, eu
gosto de ler e de colecionar coisas e, na internet,
existem muitos sites que te permitem ler
quadrinhos online, mesmo aqueles que ainda não
foram publicados no brasil, como o mangafox,
mangahere e mangapanda.
Sou um grande fã de quadrinhos e sempre tive o
hábito de lê-los. Esse tipo de site foi um grande
achado para mim.
Esse é muito bom!
Acontece que ler quadrinhos online não é tão
divertido quando sua Internet não é tão boa. A
página pode não carregar quando você tenta
mudá-la ou você pode receber um erro de
carregamento qualquer. Lembro que eu tinha Velox
na época …
Nesse período, resolvi me aventurar a fazer um
aplicativo que buscasse o meu quadrinho predileto
no site e baixasse o capítulo que eu quisesse em
um formato adequado, como cbz ou cb7.
Para esse programa, utilizei apenas a bibliotecas
padrão do python e foi até fácil. Acredito que essa
abordagem direta é a forma mais simples de se
realizar scraping de um site específico do qual
você saiba exatamente a informação de que
precisa.
O código para fazer o scraping de um site de
quadrinhos costuma ser bem simples, mas
independente da biblioteca que você vai utilizar, a
primeira coisa a se fazer para um scraping bem
sucedido, visto que você não pretende usar uma
abordagem generalista, é conhecer o site.
Primeiramente, lembrem-se que um scraping simula
a interação de um usuário, então vejamos como
um usuário interage com a página.
Como pode ser visto pelas setas, esse site possui
várias áreas de interação com o usuário. Cada
uma com um contexto específico. Se queremos
baixar quadrinhos, a parte que nos interessa aí é o
formulário de busca. Vamos ver como ele funciona.
Como “faria” meu amigo Yuki, a melhor forma de
descobrir como algo funciona é apertando o botão.
Para descobrir como buscar um quadrinho no site,
escrevi um texto no campo de busca e apertei no
botão buscar. Notem que URL foi alterada com o
valor da busca mais um path diferente. Isso nos diz
que a busca utiliza um formulário de GET e o
parâmetro “search” é utilizado pela controller que
responde essa requisição.
Já podemos codificar alguma coisa!
No nosso código exemplo, criamos um urlopen
especial, que sobrescreve o user-agent e o
utilizamos para realizar uma consulta utilizando o
path que descobrimos no slide anterior. No caso
acima, sobrescrevemos o user-agent para deixar
claro para o site com que trabalhamos que não
somos um robô, mesmo lo sendo.
Note que extract está vazio. Ele é a função que
vamos utilizar para extrair a informação que
desejamos. No caso, a lista de quadrinhos
encontrada a partir de nossa palavra.
BAD
HTML
Ao trabalhar com informações extraídas de um site,
você deve estar ciente de duas coisas:
1 – scripts e estilos não serão executados, a menos
que você crie o ambiente necessário para executá-
lo. PhantomJS é uma boa sugestão para esses
casos.
2 – Se você está trabalhando com HTML, saiba que
a chance desse HTML estar mal formado é
altíssima. Por isso, utilize bibliotecas capazes de
“relevar” um HTML mal formado, como lxml.html ou
beautifulsoup.
BeaufitulSoup
FireBug
Para o extract, vamos utilizar uma biblioteca
chamada beautifulsoup e uma ferramenta chamada
firebug.
O firebug acredito ser conhecido da maioria. Ele
permite analisar o HTML, estilos, DOM e
cabeçalhos de uma interação com um site.
Também te permite executar scripts em um console
próprio, o que é muito útil.
O BeautifulSoup, por sua vez, é uma biblioteca para
buscar informação em HTML. Ela é muito fácil de
usar, bem documentada e consegue trabalhar com
HTML mal formado, mesmo os mais “tortos” não
são um grande problema.
Facinho
Na página com a lista de resultados que recebemos
para nossa consulta, procuramos os links que
direcionam para a página do quadrinho que
desejamos ler. Visualmente, é bem fácil encontrar
os tais links, eles estão bem no meio da tela. Para
encontrar os links no HTML, utilizamos a
ferramenta de inspeção do Firebug. Clicamos nela
e depois na estrutura com o link para o quadrinho;
no frame do HTML, o trecho de código que possui
aquele link é aberto. Agora basta analisar a
estrutura e decidir quais os critérios de seleção
para os links. É como se você tivesse que decidir
quais regras CSS são necessárias para aplicar um
estilo, só que com o BeautifulSoup!
Dica: Você pode utilizar o Jquery pelo console para
testar se suas regras de seleção funcionam.
Referências sem
domínio
HTTP Errors
Bloqueio de acesso
Cookies
Autenticação
Parâmetros dinâmicos
Esse exemplo em particular é muito fácil! Basta usar
a classe manga_info para selecionar os links de
quadrinho. O próximo passo seria seguir os links
de quadrinho, encontrar a página de cada edição
do quadrinho e para cada edição encontrar todas
as imagens que compoem a edição. Em seguida,
baixar e gravar a imagem de cada uma.
O que foi demonstrado aqui pode ser utilizado com
outras finalidades. Você poderia, ao invés de
buscar quadrinhos, buscar resultados de jogos,
como queria o apostador de que falei, ou notícias
sobre um assunto particular, ou preços de uma
loja. As possibilidades são muitas!
CRAWLING
Caso, o que você precisa é vasculhar um conjunto
de sites à procura de informação, o que você está
precisando é um crawler.
Crawlers são software que se utilizam de programas
chamados spiders ou web spiders para extrair
informação de um conjunto de sites. Spiders são
programas especialistas de busca e extração de
informação, como programas de scrapers,
contudo, não lidam com a parte de persistência de
informação ou gerenciamento de outros spiders.
Os robôs de indexação do google, por exemplo, são
crawlers conhecidos. Ao contrário de um programa
de scraping, não é interessante escrever seu
próprio crawler sem uma ferramenta especializada
para o trabalho. Uma muito famosa, o scrapy,
merece sua atenção.
O scrapy é orientado a projetos. Você cria um projeto
com a ferramenta de linha de comando do scrapy,
adiciona algumas spiders a ele e já pode levá-lo
para produção. É bem simples.
O exemplo acima, contudo, não foi criado no
contexto de um projeto. O que temos ali é um
exemplo simples de como escrever um spider com
um comportamento fixo. Ele acessa a página
principal do blog do scrapinghub, pega todas as
postagens da página principal e cria itens com ela.
Os itens são os componentes com que o scrapy, por
padrão, guarda informação.
O exemplo acima não usa a maioria dos recursos
disponibilizados pelo scrapy, mas usa os mais
importantes. Poderemos revisar tais componentes
no workshop da tarde.
Como
que faz?
Maneiro!
Scraping for fun and glory
Obrigado!

Recomendados

Scraping for fun and glory annotated
Scraping for fun and glory annotatedScraping for fun and glory annotated
Scraping for fun and glory annotateditalomaia
 
Ajax para quem_ouviu_falar
Ajax para quem_ouviu_falarAjax para quem_ouviu_falar
Ajax para quem_ouviu_falarCharleston Anjos
 
Criação de robôs em PHP para raspagem de dados
Criação de robôs em PHP para raspagem de dadosCriação de robôs em PHP para raspagem de dados
Criação de robôs em PHP para raspagem de dadosFlávio Lisboa
 
E dá para desenvolver webgames com Django?
E dá para desenvolver webgames com Django?E dá para desenvolver webgames com Django?
E dá para desenvolver webgames com Django?Guilherme Medeiros
 
Shut up and give me the data
Shut up and give me the dataShut up and give me the data
Shut up and give me the dataAna Paula Gomes
 

Mais conteúdo relacionado

Destaque

Estudo de caso do "O Curioso" (Rio on Rails)
Estudo de caso do "O Curioso" (Rio on Rails)Estudo de caso do "O Curioso" (Rio on Rails)
Estudo de caso do "O Curioso" (Rio on Rails)guestf4f70f
 
Curso YaCy Mecanismo de Busca de Código Aberto
Curso YaCy Mecanismo de Busca de Código AbertoCurso YaCy Mecanismo de Busca de Código Aberto
Curso YaCy Mecanismo de Busca de Código AbertoJulio Della Flora
 
Capturando dados com Python - UAI Python
Capturando dados com Python - UAI PythonCapturando dados com Python - UAI Python
Capturando dados com Python - UAI PythonÁlvaro Justen
 
Java Web Scraping
Java Web ScrapingJava Web Scraping
Java Web ScrapingSumant Raja
 
Mini Curso - WebScraping com C# - Erick Wendel
Mini Curso - WebScraping com C# - Erick WendelMini Curso - WebScraping com C# - Erick Wendel
Mini Curso - WebScraping com C# - Erick WendelErick Wendel
 
Desbravando o mundo dos webcrawlers
Desbravando o mundo dos webcrawlersDesbravando o mundo dos webcrawlers
Desbravando o mundo dos webcrawlersJoão Gabriel Lima
 
Capturando a web com Scrapy
Capturando a web com ScrapyCapturando a web com Scrapy
Capturando a web com ScrapyGabriel Freitas
 
Web Scraping: aplicações nos negócios e na ciência
Web Scraping: aplicações nos negócios e na ciênciaWeb Scraping: aplicações nos negócios e na ciência
Web Scraping: aplicações nos negócios e na ciênciaSidney Roberto
 
Raspador: Biblioteca em Python para extração de dados em texto semi-estruturado
Raspador: Biblioteca em Python para extração de dados em texto semi-estruturadoRaspador: Biblioteca em Python para extração de dados em texto semi-estruturado
Raspador: Biblioteca em Python para extração de dados em texto semi-estruturadoFernando Macedo
 
Desenvolvendo web crawler/scraper com Python
Desenvolvendo web crawler/scraper com PythonDesenvolvendo web crawler/scraper com Python
Desenvolvendo web crawler/scraper com PythonRoselma Mendes
 
Crawleando a web feito gente grande com o scrapy
Crawleando a web feito gente grande com o scrapyCrawleando a web feito gente grande com o scrapy
Crawleando a web feito gente grande com o scrapyBernardo Fontes
 
Aprendendo Na Prática: Aplicativos Web Com Asp.Net MVC em C# e Entity Framewo...
Aprendendo Na Prática: Aplicativos Web Com Asp.Net MVC em C# e Entity Framewo...Aprendendo Na Prática: Aplicativos Web Com Asp.Net MVC em C# e Entity Framewo...
Aprendendo Na Prática: Aplicativos Web Com Asp.Net MVC em C# e Entity Framewo...Daniel Makiyama
 
Extraindo dados públicos na marra com Python
Extraindo dados públicos na marra com PythonExtraindo dados públicos na marra com Python
Extraindo dados públicos na marra com PythonPedro Valente
 

Destaque (19)

Estudo de caso do "O Curioso" (Rio on Rails)
Estudo de caso do "O Curioso" (Rio on Rails)Estudo de caso do "O Curioso" (Rio on Rails)
Estudo de caso do "O Curioso" (Rio on Rails)
 
Web - Crawlers
Web - CrawlersWeb - Crawlers
Web - Crawlers
 
Curso YaCy Mecanismo de Busca de Código Aberto
Curso YaCy Mecanismo de Busca de Código AbertoCurso YaCy Mecanismo de Busca de Código Aberto
Curso YaCy Mecanismo de Busca de Código Aberto
 
Capturando dados com Python - UAI Python
Capturando dados com Python - UAI PythonCapturando dados com Python - UAI Python
Capturando dados com Python - UAI Python
 
Scraping by examples
Scraping by examplesScraping by examples
Scraping by examples
 
Java Web Scraping
Java Web ScrapingJava Web Scraping
Java Web Scraping
 
Mini Curso - WebScraping com C# - Erick Wendel
Mini Curso - WebScraping com C# - Erick WendelMini Curso - WebScraping com C# - Erick Wendel
Mini Curso - WebScraping com C# - Erick Wendel
 
Web crawler
Web crawlerWeb crawler
Web crawler
 
Web scraping
Web scrapingWeb scraping
Web scraping
 
Desbravando o mundo dos webcrawlers
Desbravando o mundo dos webcrawlersDesbravando o mundo dos webcrawlers
Desbravando o mundo dos webcrawlers
 
Scraping
ScrapingScraping
Scraping
 
Capturando a web com Scrapy
Capturando a web com ScrapyCapturando a web com Scrapy
Capturando a web com Scrapy
 
Web Scraping: aplicações nos negócios e na ciência
Web Scraping: aplicações nos negócios e na ciênciaWeb Scraping: aplicações nos negócios e na ciência
Web Scraping: aplicações nos negócios e na ciência
 
Raspador: Biblioteca em Python para extração de dados em texto semi-estruturado
Raspador: Biblioteca em Python para extração de dados em texto semi-estruturadoRaspador: Biblioteca em Python para extração de dados em texto semi-estruturado
Raspador: Biblioteca em Python para extração de dados em texto semi-estruturado
 
Desenvolvendo web crawler/scraper com Python
Desenvolvendo web crawler/scraper com PythonDesenvolvendo web crawler/scraper com Python
Desenvolvendo web crawler/scraper com Python
 
Crawleando a web feito gente grande com o scrapy
Crawleando a web feito gente grande com o scrapyCrawleando a web feito gente grande com o scrapy
Crawleando a web feito gente grande com o scrapy
 
Aprendendo Na Prática: Aplicativos Web Com Asp.Net MVC em C# e Entity Framewo...
Aprendendo Na Prática: Aplicativos Web Com Asp.Net MVC em C# e Entity Framewo...Aprendendo Na Prática: Aplicativos Web Com Asp.Net MVC em C# e Entity Framewo...
Aprendendo Na Prática: Aplicativos Web Com Asp.Net MVC em C# e Entity Framewo...
 
Extraindo dados públicos na marra com Python
Extraindo dados públicos na marra com PythonExtraindo dados públicos na marra com Python
Extraindo dados públicos na marra com Python
 
Web scraping com python
Web scraping com pythonWeb scraping com python
Web scraping com python
 

Semelhante a Scraping for fun and glory

Raspagem de Dados com Python
Raspagem de Dados com PythonRaspagem de Dados com Python
Raspagem de Dados com PythonThiago Curvelo
 
Oficina IV: Marketing de Busca: como alavancar sua marca na internet - Ciclo ...
Oficina IV: Marketing de Busca: como alavancar sua marca na internet - Ciclo ...Oficina IV: Marketing de Busca: como alavancar sua marca na internet - Ciclo ...
Oficina IV: Marketing de Busca: como alavancar sua marca na internet - Ciclo ...Pedro Cordier
 
Aprenda a ser um webmaster
Aprenda a ser um webmasterAprenda a ser um webmaster
Aprenda a ser um webmasterJeferson Souza
 
JavaScript - #Aula01 - Introdução
JavaScript - #Aula01 - IntroduçãoJavaScript - #Aula01 - Introdução
JavaScript - #Aula01 - IntroduçãoErick L. F.
 
Senac Bauru - Marketing na Web - Aulas 3, 4 e 5
Senac Bauru - Marketing na Web - Aulas 3, 4 e 5Senac Bauru - Marketing na Web - Aulas 3, 4 e 5
Senac Bauru - Marketing na Web - Aulas 3, 4 e 5Paulo César Silva
 
SEO para Front-End - BeagaJS
SEO para Front-End - BeagaJSSEO para Front-End - BeagaJS
SEO para Front-End - BeagaJSFabio Ricotta
 
Ppt unidade2 ied_2014
Ppt unidade2 ied_2014Ppt unidade2 ied_2014
Ppt unidade2 ied_2014dmangstman
 
Seo - Search Engine Optimization
Seo - Search Engine OptimizationSeo - Search Engine Optimization
Seo - Search Engine OptimizationHeric Tilly
 
Seo completo-curso-udemy-072018
Seo completo-curso-udemy-072018Seo completo-curso-udemy-072018
Seo completo-curso-udemy-072018Winnicius Costa
 
SEO - A história que não foi contada para você em 11 passos simples
SEO - A história que não foi contada para você em 11 passos simplesSEO - A história que não foi contada para você em 11 passos simples
SEO - A história que não foi contada para você em 11 passos simplesKarlahayde
 
"Mas eu não tenho experiência..." E daí??? - Como quebrar o ciclo vicioso de...
 "Mas eu não tenho experiência..." E daí??? - Como quebrar o ciclo vicioso de... "Mas eu não tenho experiência..." E daí??? - Como quebrar o ciclo vicioso de...
"Mas eu não tenho experiência..." E daí??? - Como quebrar o ciclo vicioso de...Julio Cesar Nunes de Souza
 
Aprender a programar (Semana Academica da FACIN/PUCRS)
Aprender a programar (Semana Academica da FACIN/PUCRS)Aprender a programar (Semana Academica da FACIN/PUCRS)
Aprender a programar (Semana Academica da FACIN/PUCRS)Lucia Giraffa
 
Google analytics-para-search-e-social-campus-party
Google analytics-para-search-e-social-campus-partyGoogle analytics-para-search-e-social-campus-party
Google analytics-para-search-e-social-campus-partyfrankmarcel
 
Como webscraping pode ajudar no Marketing?
Como webscraping pode ajudar no Marketing?Como webscraping pode ajudar no Marketing?
Como webscraping pode ajudar no Marketing?Thiago Rocha
 
Reformulação do Website da TcheCotrijuí
Reformulação do Website da TcheCotrijuíReformulação do Website da TcheCotrijuí
Reformulação do Website da TcheCotrijuíguest08c9fd6
 

Semelhante a Scraping for fun and glory (20)

Raspagem de Dados com Python
Raspagem de Dados com PythonRaspagem de Dados com Python
Raspagem de Dados com Python
 
Oficina IV: Marketing de Busca: como alavancar sua marca na internet - Ciclo ...
Oficina IV: Marketing de Busca: como alavancar sua marca na internet - Ciclo ...Oficina IV: Marketing de Busca: como alavancar sua marca na internet - Ciclo ...
Oficina IV: Marketing de Busca: como alavancar sua marca na internet - Ciclo ...
 
Aprenda a ser um webmaster
Aprenda a ser um webmasterAprenda a ser um webmaster
Aprenda a ser um webmaster
 
JavaScript - #Aula01 - Introdução
JavaScript - #Aula01 - IntroduçãoJavaScript - #Aula01 - Introdução
JavaScript - #Aula01 - Introdução
 
Senac Bauru - Marketing na Web - Aulas 3, 4 e 5
Senac Bauru - Marketing na Web - Aulas 3, 4 e 5Senac Bauru - Marketing na Web - Aulas 3, 4 e 5
Senac Bauru - Marketing na Web - Aulas 3, 4 e 5
 
SEO para Front-End - BeagaJS
SEO para Front-End - BeagaJSSEO para Front-End - BeagaJS
SEO para Front-End - BeagaJS
 
Ppt unidade2 ied_2014
Ppt unidade2 ied_2014Ppt unidade2 ied_2014
Ppt unidade2 ied_2014
 
Copy of trabalho de redes
Copy of trabalho de redesCopy of trabalho de redes
Copy of trabalho de redes
 
Seo - Search Engine Optimization
Seo - Search Engine OptimizationSeo - Search Engine Optimization
Seo - Search Engine Optimization
 
Seo completo-curso-udemy-072018
Seo completo-curso-udemy-072018Seo completo-curso-udemy-072018
Seo completo-curso-udemy-072018
 
SEO - A história que não foi contada para você em 11 passos simples
SEO - A história que não foi contada para você em 11 passos simplesSEO - A história que não foi contada para você em 11 passos simples
SEO - A história que não foi contada para você em 11 passos simples
 
"Mas eu não tenho experiência..." E daí??? - Como quebrar o ciclo vicioso de...
 "Mas eu não tenho experiência..." E daí??? - Como quebrar o ciclo vicioso de... "Mas eu não tenho experiência..." E daí??? - Como quebrar o ciclo vicioso de...
"Mas eu não tenho experiência..." E daí??? - Como quebrar o ciclo vicioso de...
 
Projeto website
Projeto websiteProjeto website
Projeto website
 
Aprender a programar (Semana Academica da FACIN/PUCRS)
Aprender a programar (Semana Academica da FACIN/PUCRS)Aprender a programar (Semana Academica da FACIN/PUCRS)
Aprender a programar (Semana Academica da FACIN/PUCRS)
 
O que é blog
O que é blogO que é blog
O que é blog
 
O que é blog
O que é blogO que é blog
O que é blog
 
O que é blog
O que é blogO que é blog
O que é blog
 
Google analytics-para-search-e-social-campus-party
Google analytics-para-search-e-social-campus-partyGoogle analytics-para-search-e-social-campus-party
Google analytics-para-search-e-social-campus-party
 
Como webscraping pode ajudar no Marketing?
Como webscraping pode ajudar no Marketing?Como webscraping pode ajudar no Marketing?
Como webscraping pode ajudar no Marketing?
 
Reformulação do Website da TcheCotrijuí
Reformulação do Website da TcheCotrijuíReformulação do Website da TcheCotrijuí
Reformulação do Website da TcheCotrijuí
 

Último

ATIVIDADE 1 - TEORIA DAS ESTRUTURAS I - 512024.docx
ATIVIDADE 1 - TEORIA DAS ESTRUTURAS I - 512024.docxATIVIDADE 1 - TEORIA DAS ESTRUTURAS I - 512024.docx
ATIVIDADE 1 - TEORIA DAS ESTRUTURAS I - 512024.docx2m Assessoria
 
MAPA -INTRODUÇÃO À ENGENHARIA - 512024.docx
MAPA -INTRODUÇÃO À ENGENHARIA  - 512024.docxMAPA -INTRODUÇÃO À ENGENHARIA  - 512024.docx
MAPA -INTRODUÇÃO À ENGENHARIA - 512024.docx2m Assessoria
 
ATIVIDADE 1 - CONTABILIDADE EMPRESARIAL - 512024.docx
ATIVIDADE 1 - CONTABILIDADE EMPRESARIAL - 512024.docxATIVIDADE 1 - CONTABILIDADE EMPRESARIAL - 512024.docx
ATIVIDADE 1 - CONTABILIDADE EMPRESARIAL - 512024.docx2m Assessoria
 
ATIVIDADE 1 - ADSIS - MATEMÁTICA PARA COMPUTAÇÃO - 512024.docx
ATIVIDADE 1 - ADSIS - MATEMÁTICA PARA COMPUTAÇÃO - 512024.docxATIVIDADE 1 - ADSIS - MATEMÁTICA PARA COMPUTAÇÃO - 512024.docx
ATIVIDADE 1 - ADSIS - MATEMÁTICA PARA COMPUTAÇÃO - 512024.docx2m Assessoria
 
ATIVIDADE 1 - PESQUISA OPERACIONAL - 512024.docx
ATIVIDADE 1 - PESQUISA OPERACIONAL - 512024.docxATIVIDADE 1 - PESQUISA OPERACIONAL - 512024.docx
ATIVIDADE 1 - PESQUISA OPERACIONAL - 512024.docx2m Assessoria
 
ATIVIDADE 1 - ADSIS - FUNDAMENTOS E ARQUITETURA DE COMPUTADORES - 512024.docx
ATIVIDADE 1 - ADSIS - FUNDAMENTOS E ARQUITETURA DE COMPUTADORES  - 512024.docxATIVIDADE 1 - ADSIS - FUNDAMENTOS E ARQUITETURA DE COMPUTADORES  - 512024.docx
ATIVIDADE 1 - ADSIS - FUNDAMENTOS E ARQUITETURA DE COMPUTADORES - 512024.docx2m Assessoria
 
ATIVIDADE 1 - ESTATÍSTICA E PROBABILIDADE - 512024.docx
ATIVIDADE 1 - ESTATÍSTICA E PROBABILIDADE - 512024.docxATIVIDADE 1 - ESTATÍSTICA E PROBABILIDADE - 512024.docx
ATIVIDADE 1 - ESTATÍSTICA E PROBABILIDADE - 512024.docx2m Assessoria
 
Power BI: A ferramenta da Microsoft que vem ganhando o mercado.
Power BI: A ferramenta da Microsoft que vem ganhando o mercado.Power BI: A ferramenta da Microsoft que vem ganhando o mercado.
Power BI: A ferramenta da Microsoft que vem ganhando o mercado.Daniel Mendes
 
ATIVIDADE 1 - TI - BOAS PRÁTICAS DE GOVERNANÇA EM TI - 512024.docx
ATIVIDADE 1 - TI - BOAS PRÁTICAS DE GOVERNANÇA EM TI - 512024.docxATIVIDADE 1 - TI - BOAS PRÁTICAS DE GOVERNANÇA EM TI - 512024.docx
ATIVIDADE 1 - TI - BOAS PRÁTICAS DE GOVERNANÇA EM TI - 512024.docxjosecarlos413721
 
ATIVIDADE 1 - MODELAGEM DE SOFTWARE – 512024.docx
ATIVIDADE 1 - MODELAGEM DE SOFTWARE – 512024.docxATIVIDADE 1 - MODELAGEM DE SOFTWARE – 512024.docx
ATIVIDADE 1 - MODELAGEM DE SOFTWARE – 512024.docxjosecarlos413721
 
ATIVIDADE 1- LÓGICA PARA COMPUTAÇÃO - 512024.docx
ATIVIDADE 1- LÓGICA PARA COMPUTAÇÃO - 512024.docxATIVIDADE 1- LÓGICA PARA COMPUTAÇÃO - 512024.docx
ATIVIDADE 1- LÓGICA PARA COMPUTAÇÃO - 512024.docx2m Assessoria
 
MAPA - INTRODUÇÃO À ENGENHARIA - 51-2024.docx
MAPA - INTRODUÇÃO À ENGENHARIA - 51-2024.docxMAPA - INTRODUÇÃO À ENGENHARIA - 51-2024.docx
MAPA - INTRODUÇÃO À ENGENHARIA - 51-2024.docxjosecarlos413721
 
ATIVIDADE 1 - PESQUISA OPERACIONAL - 512024.docx
ATIVIDADE 1 - PESQUISA OPERACIONAL - 512024.docxATIVIDADE 1 - PESQUISA OPERACIONAL - 512024.docx
ATIVIDADE 1 - PESQUISA OPERACIONAL - 512024.docx2m Assessoria
 
ATIVIDADE 1 - TI - BOAS PRÁTICAS DE GOVERNANÇA EM TI - 512024.docx
ATIVIDADE 1 - TI - BOAS PRÁTICAS DE GOVERNANÇA EM TI - 512024.docxATIVIDADE 1 - TI - BOAS PRÁTICAS DE GOVERNANÇA EM TI - 512024.docx
ATIVIDADE 1 - TI - BOAS PRÁTICAS DE GOVERNANÇA EM TI - 512024.docxjosecarlos413721
 
MAPA -INTRODUÇÃO À ENGENHARIA - 512024.docx
MAPA -INTRODUÇÃO À ENGENHARIA  - 512024.docxMAPA -INTRODUÇÃO À ENGENHARIA  - 512024.docx
MAPA -INTRODUÇÃO À ENGENHARIA - 512024.docx2m Assessoria
 
ATIVIDADE 1- MICROPROCESSADORES E MICROCONTROLADORES - 512024.docx
ATIVIDADE 1- MICROPROCESSADORES E MICROCONTROLADORES - 512024.docxATIVIDADE 1- MICROPROCESSADORES E MICROCONTROLADORES - 512024.docx
ATIVIDADE 1- MICROPROCESSADORES E MICROCONTROLADORES - 512024.docx2m Assessoria
 
ATIVIDADE 1 - ESTATÍSTICA E PROBABILIDADE - 512024.docx
ATIVIDADE 1 - ESTATÍSTICA E PROBABILIDADE - 512024.docxATIVIDADE 1 - ESTATÍSTICA E PROBABILIDADE - 512024.docx
ATIVIDADE 1 - ESTATÍSTICA E PROBABILIDADE - 512024.docx2m Assessoria
 
Curso de Verão - Aula 03 - Introdução ao CI-CD e Infraestrutura como Código
Curso de Verão - Aula 03 - Introdução ao CI-CD e Infraestrutura como CódigoCurso de Verão - Aula 03 - Introdução ao CI-CD e Infraestrutura como Código
Curso de Verão - Aula 03 - Introdução ao CI-CD e Infraestrutura como CódigoGuilhermeJorgeAragod
 
ATIVIDADE 1 - DESENHO TÉCNICO - 512024.docx
ATIVIDADE 1 - DESENHO TÉCNICO - 512024.docxATIVIDADE 1 - DESENHO TÉCNICO - 512024.docx
ATIVIDADE 1 - DESENHO TÉCNICO - 512024.docx2m Assessoria
 
ATIVIDADE 1 - ESTATÍSTICA E PROBABILIDADE - 512024.docx
ATIVIDADE 1 - ESTATÍSTICA E PROBABILIDADE - 512024.docxATIVIDADE 1 - ESTATÍSTICA E PROBABILIDADE - 512024.docx
ATIVIDADE 1 - ESTATÍSTICA E PROBABILIDADE - 512024.docxjosecarlos413721
 

Último (20)

ATIVIDADE 1 - TEORIA DAS ESTRUTURAS I - 512024.docx
ATIVIDADE 1 - TEORIA DAS ESTRUTURAS I - 512024.docxATIVIDADE 1 - TEORIA DAS ESTRUTURAS I - 512024.docx
ATIVIDADE 1 - TEORIA DAS ESTRUTURAS I - 512024.docx
 
MAPA -INTRODUÇÃO À ENGENHARIA - 512024.docx
MAPA -INTRODUÇÃO À ENGENHARIA  - 512024.docxMAPA -INTRODUÇÃO À ENGENHARIA  - 512024.docx
MAPA -INTRODUÇÃO À ENGENHARIA - 512024.docx
 
ATIVIDADE 1 - CONTABILIDADE EMPRESARIAL - 512024.docx
ATIVIDADE 1 - CONTABILIDADE EMPRESARIAL - 512024.docxATIVIDADE 1 - CONTABILIDADE EMPRESARIAL - 512024.docx
ATIVIDADE 1 - CONTABILIDADE EMPRESARIAL - 512024.docx
 
ATIVIDADE 1 - ADSIS - MATEMÁTICA PARA COMPUTAÇÃO - 512024.docx
ATIVIDADE 1 - ADSIS - MATEMÁTICA PARA COMPUTAÇÃO - 512024.docxATIVIDADE 1 - ADSIS - MATEMÁTICA PARA COMPUTAÇÃO - 512024.docx
ATIVIDADE 1 - ADSIS - MATEMÁTICA PARA COMPUTAÇÃO - 512024.docx
 
ATIVIDADE 1 - PESQUISA OPERACIONAL - 512024.docx
ATIVIDADE 1 - PESQUISA OPERACIONAL - 512024.docxATIVIDADE 1 - PESQUISA OPERACIONAL - 512024.docx
ATIVIDADE 1 - PESQUISA OPERACIONAL - 512024.docx
 
ATIVIDADE 1 - ADSIS - FUNDAMENTOS E ARQUITETURA DE COMPUTADORES - 512024.docx
ATIVIDADE 1 - ADSIS - FUNDAMENTOS E ARQUITETURA DE COMPUTADORES  - 512024.docxATIVIDADE 1 - ADSIS - FUNDAMENTOS E ARQUITETURA DE COMPUTADORES  - 512024.docx
ATIVIDADE 1 - ADSIS - FUNDAMENTOS E ARQUITETURA DE COMPUTADORES - 512024.docx
 
ATIVIDADE 1 - ESTATÍSTICA E PROBABILIDADE - 512024.docx
ATIVIDADE 1 - ESTATÍSTICA E PROBABILIDADE - 512024.docxATIVIDADE 1 - ESTATÍSTICA E PROBABILIDADE - 512024.docx
ATIVIDADE 1 - ESTATÍSTICA E PROBABILIDADE - 512024.docx
 
Power BI: A ferramenta da Microsoft que vem ganhando o mercado.
Power BI: A ferramenta da Microsoft que vem ganhando o mercado.Power BI: A ferramenta da Microsoft que vem ganhando o mercado.
Power BI: A ferramenta da Microsoft que vem ganhando o mercado.
 
ATIVIDADE 1 - TI - BOAS PRÁTICAS DE GOVERNANÇA EM TI - 512024.docx
ATIVIDADE 1 - TI - BOAS PRÁTICAS DE GOVERNANÇA EM TI - 512024.docxATIVIDADE 1 - TI - BOAS PRÁTICAS DE GOVERNANÇA EM TI - 512024.docx
ATIVIDADE 1 - TI - BOAS PRÁTICAS DE GOVERNANÇA EM TI - 512024.docx
 
ATIVIDADE 1 - MODELAGEM DE SOFTWARE – 512024.docx
ATIVIDADE 1 - MODELAGEM DE SOFTWARE – 512024.docxATIVIDADE 1 - MODELAGEM DE SOFTWARE – 512024.docx
ATIVIDADE 1 - MODELAGEM DE SOFTWARE – 512024.docx
 
ATIVIDADE 1- LÓGICA PARA COMPUTAÇÃO - 512024.docx
ATIVIDADE 1- LÓGICA PARA COMPUTAÇÃO - 512024.docxATIVIDADE 1- LÓGICA PARA COMPUTAÇÃO - 512024.docx
ATIVIDADE 1- LÓGICA PARA COMPUTAÇÃO - 512024.docx
 
MAPA - INTRODUÇÃO À ENGENHARIA - 51-2024.docx
MAPA - INTRODUÇÃO À ENGENHARIA - 51-2024.docxMAPA - INTRODUÇÃO À ENGENHARIA - 51-2024.docx
MAPA - INTRODUÇÃO À ENGENHARIA - 51-2024.docx
 
ATIVIDADE 1 - PESQUISA OPERACIONAL - 512024.docx
ATIVIDADE 1 - PESQUISA OPERACIONAL - 512024.docxATIVIDADE 1 - PESQUISA OPERACIONAL - 512024.docx
ATIVIDADE 1 - PESQUISA OPERACIONAL - 512024.docx
 
ATIVIDADE 1 - TI - BOAS PRÁTICAS DE GOVERNANÇA EM TI - 512024.docx
ATIVIDADE 1 - TI - BOAS PRÁTICAS DE GOVERNANÇA EM TI - 512024.docxATIVIDADE 1 - TI - BOAS PRÁTICAS DE GOVERNANÇA EM TI - 512024.docx
ATIVIDADE 1 - TI - BOAS PRÁTICAS DE GOVERNANÇA EM TI - 512024.docx
 
MAPA -INTRODUÇÃO À ENGENHARIA - 512024.docx
MAPA -INTRODUÇÃO À ENGENHARIA  - 512024.docxMAPA -INTRODUÇÃO À ENGENHARIA  - 512024.docx
MAPA -INTRODUÇÃO À ENGENHARIA - 512024.docx
 
ATIVIDADE 1- MICROPROCESSADORES E MICROCONTROLADORES - 512024.docx
ATIVIDADE 1- MICROPROCESSADORES E MICROCONTROLADORES - 512024.docxATIVIDADE 1- MICROPROCESSADORES E MICROCONTROLADORES - 512024.docx
ATIVIDADE 1- MICROPROCESSADORES E MICROCONTROLADORES - 512024.docx
 
ATIVIDADE 1 - ESTATÍSTICA E PROBABILIDADE - 512024.docx
ATIVIDADE 1 - ESTATÍSTICA E PROBABILIDADE - 512024.docxATIVIDADE 1 - ESTATÍSTICA E PROBABILIDADE - 512024.docx
ATIVIDADE 1 - ESTATÍSTICA E PROBABILIDADE - 512024.docx
 
Curso de Verão - Aula 03 - Introdução ao CI-CD e Infraestrutura como Código
Curso de Verão - Aula 03 - Introdução ao CI-CD e Infraestrutura como CódigoCurso de Verão - Aula 03 - Introdução ao CI-CD e Infraestrutura como Código
Curso de Verão - Aula 03 - Introdução ao CI-CD e Infraestrutura como Código
 
ATIVIDADE 1 - DESENHO TÉCNICO - 512024.docx
ATIVIDADE 1 - DESENHO TÉCNICO - 512024.docxATIVIDADE 1 - DESENHO TÉCNICO - 512024.docx
ATIVIDADE 1 - DESENHO TÉCNICO - 512024.docx
 
ATIVIDADE 1 - ESTATÍSTICA E PROBABILIDADE - 512024.docx
ATIVIDADE 1 - ESTATÍSTICA E PROBABILIDADE - 512024.docxATIVIDADE 1 - ESTATÍSTICA E PROBABILIDADE - 512024.docx
ATIVIDADE 1 - ESTATÍSTICA E PROBABILIDADE - 512024.docx
 

Scraping for fun and glory

  • 1. Se Não Pode Ser Copiado, Não Existe – By Italo Maia
  • 2. Scraping For Fun And Glory! BZZ BZZ
  • 5. Desenvolvedor Web, Mobile, Desktop Membro PugCE, ForHacker, DjangoBrasil Gosta Promoção, Ler, Chuva
  • 15. Referências sem domínio HTTP Errors Bloqueio de acesso Cookies Autenticação Parâmetros dinâmicos
  • 22. Se Não Pode Ser Copiado, Não Existe – By Italo Maia
  • 23. Scraping For Fun And Glory! BZZ BZZ Muito bom dia! Sejam bem vindos à mais um Flisol. Que bom que tanta gente conseguiu acordar cedo para ver as primeiras palestras. O nome da palestra que vou ministrar é Scraping for Fun and Glory; nela, nosso assunto é scraping.
  • 24. Scraping ou Web Scraping é como chamamos o conjunto de técnicas utilizadas para se extrair informação da internet, como links, imagens ou mesmo texto. O Google, por exemplo, é uma empresa muito famosa que se utiliza dessa técnica fortemente no seu processo de “page ranking” e indexação de conteúdo.
  • 25. VOCÊ PROGRAMA A ideia é se utilizar de um programa, que fará acessos aos sites que possuem a informação que você deseja como se fosse um usuário real. Toda vez que ele acessar uma página, ele vai receber a informação que um usuário receberia em seu navegador, e vai buscar aquilo que é importante e descartar o resto. Outra habilidade importante que um spider deve ter é a capacidade de seguir links, pois eles podem levá-lo à mais informação útil.
  • 26. Desenvolvedor Web, Mobile, Desktop Membro PugCE, ForHacker, DjangoBrasil Gosta Promoção, Ler, Chuva Antes de começar, gostaria de falar um pouco de mim. Meu nome é Italo Maia, sou desenvolvedor a 10 anos, possuo projetos em diversas linguagens, muitos deles no github, e tive oportunidade, recentemente, de trabalhar no maior ecommerce do Brasil, onde pude aprender muito sobre o assunto, inclusive, como o scraping é importante para esse tipo de negócio. Esse ano participei do último python-brasil, em recife, e nele, pude ver o interesse das pessoas sobre o assunto desta palestra. Por isso resolvi compartilhar um pouco do que aprendi ao longo dos anos sobre o assunto aqui.
  • 27. Meu primeiro contato com scraping foi a muito tempo atrás, quando um americano me pediu um serviço. Ele era um apostador profissional e me pediu um programa capaz de buscar os resultados de partidas esportivas em um site e armazená-los em alguma forma estruturada fácil de ler. Lembro que não consegui atendê-lo pois meu óculos quebrou no dia seguinte e eu não enxergava a tela do computador no meu antigo monitor. Foi horrível. Mas lembro também que achei muito interessante a ideia dele, de utilizar informação livremente disponível na internet de forma organizada.
  • 28. Se vocês prestaram atenção no terceiro slide, vão lembrar que eu disse que gosto de ler. Bem, eu gosto de ler e de colecionar coisas e, na internet, existem muitos sites que te permitem ler quadrinhos online, mesmo aqueles que ainda não foram publicados no brasil, como o mangafox, mangahere e mangapanda. Sou um grande fã de quadrinhos e sempre tive o hábito de lê-los. Esse tipo de site foi um grande achado para mim.
  • 29. Esse é muito bom! Acontece que ler quadrinhos online não é tão divertido quando sua Internet não é tão boa. A página pode não carregar quando você tenta mudá-la ou você pode receber um erro de carregamento qualquer. Lembro que eu tinha Velox na época … Nesse período, resolvi me aventurar a fazer um aplicativo que buscasse o meu quadrinho predileto no site e baixasse o capítulo que eu quisesse em um formato adequado, como cbz ou cb7. Para esse programa, utilizei apenas a bibliotecas padrão do python e foi até fácil. Acredito que essa abordagem direta é a forma mais simples de se realizar scraping de um site específico do qual você saiba exatamente a informação de que precisa.
  • 30. O código para fazer o scraping de um site de quadrinhos costuma ser bem simples, mas independente da biblioteca que você vai utilizar, a primeira coisa a se fazer para um scraping bem sucedido, visto que você não pretende usar uma abordagem generalista, é conhecer o site. Primeiramente, lembrem-se que um scraping simula a interação de um usuário, então vejamos como um usuário interage com a página. Como pode ser visto pelas setas, esse site possui várias áreas de interação com o usuário. Cada uma com um contexto específico. Se queremos baixar quadrinhos, a parte que nos interessa aí é o formulário de busca. Vamos ver como ele funciona.
  • 31. Como “faria” meu amigo Yuki, a melhor forma de descobrir como algo funciona é apertando o botão. Para descobrir como buscar um quadrinho no site, escrevi um texto no campo de busca e apertei no botão buscar. Notem que URL foi alterada com o valor da busca mais um path diferente. Isso nos diz que a busca utiliza um formulário de GET e o parâmetro “search” é utilizado pela controller que responde essa requisição. Já podemos codificar alguma coisa!
  • 32. No nosso código exemplo, criamos um urlopen especial, que sobrescreve o user-agent e o utilizamos para realizar uma consulta utilizando o path que descobrimos no slide anterior. No caso acima, sobrescrevemos o user-agent para deixar claro para o site com que trabalhamos que não somos um robô, mesmo lo sendo. Note que extract está vazio. Ele é a função que vamos utilizar para extrair a informação que desejamos. No caso, a lista de quadrinhos encontrada a partir de nossa palavra.
  • 33. BAD HTML Ao trabalhar com informações extraídas de um site, você deve estar ciente de duas coisas: 1 – scripts e estilos não serão executados, a menos que você crie o ambiente necessário para executá- lo. PhantomJS é uma boa sugestão para esses casos. 2 – Se você está trabalhando com HTML, saiba que a chance desse HTML estar mal formado é altíssima. Por isso, utilize bibliotecas capazes de “relevar” um HTML mal formado, como lxml.html ou beautifulsoup.
  • 34. BeaufitulSoup FireBug Para o extract, vamos utilizar uma biblioteca chamada beautifulsoup e uma ferramenta chamada firebug. O firebug acredito ser conhecido da maioria. Ele permite analisar o HTML, estilos, DOM e cabeçalhos de uma interação com um site. Também te permite executar scripts em um console próprio, o que é muito útil. O BeautifulSoup, por sua vez, é uma biblioteca para buscar informação em HTML. Ela é muito fácil de usar, bem documentada e consegue trabalhar com HTML mal formado, mesmo os mais “tortos” não são um grande problema.
  • 35. Facinho Na página com a lista de resultados que recebemos para nossa consulta, procuramos os links que direcionam para a página do quadrinho que desejamos ler. Visualmente, é bem fácil encontrar os tais links, eles estão bem no meio da tela. Para encontrar os links no HTML, utilizamos a ferramenta de inspeção do Firebug. Clicamos nela e depois na estrutura com o link para o quadrinho; no frame do HTML, o trecho de código que possui aquele link é aberto. Agora basta analisar a estrutura e decidir quais os critérios de seleção para os links. É como se você tivesse que decidir quais regras CSS são necessárias para aplicar um estilo, só que com o BeautifulSoup! Dica: Você pode utilizar o Jquery pelo console para testar se suas regras de seleção funcionam.
  • 36. Referências sem domínio HTTP Errors Bloqueio de acesso Cookies Autenticação Parâmetros dinâmicos Esse exemplo em particular é muito fácil! Basta usar a classe manga_info para selecionar os links de quadrinho. O próximo passo seria seguir os links de quadrinho, encontrar a página de cada edição do quadrinho e para cada edição encontrar todas as imagens que compoem a edição. Em seguida, baixar e gravar a imagem de cada uma. O que foi demonstrado aqui pode ser utilizado com outras finalidades. Você poderia, ao invés de buscar quadrinhos, buscar resultados de jogos, como queria o apostador de que falei, ou notícias sobre um assunto particular, ou preços de uma loja. As possibilidades são muitas!
  • 37. CRAWLING Caso, o que você precisa é vasculhar um conjunto de sites à procura de informação, o que você está precisando é um crawler. Crawlers são software que se utilizam de programas chamados spiders ou web spiders para extrair informação de um conjunto de sites. Spiders são programas especialistas de busca e extração de informação, como programas de scrapers, contudo, não lidam com a parte de persistência de informação ou gerenciamento de outros spiders. Os robôs de indexação do google, por exemplo, são crawlers conhecidos. Ao contrário de um programa de scraping, não é interessante escrever seu próprio crawler sem uma ferramenta especializada para o trabalho. Uma muito famosa, o scrapy, merece sua atenção.
  • 38. O scrapy é orientado a projetos. Você cria um projeto com a ferramenta de linha de comando do scrapy, adiciona algumas spiders a ele e já pode levá-lo para produção. É bem simples. O exemplo acima, contudo, não foi criado no contexto de um projeto. O que temos ali é um exemplo simples de como escrever um spider com um comportamento fixo. Ele acessa a página principal do blog do scrapinghub, pega todas as postagens da página principal e cria itens com ela. Os itens são os componentes com que o scrapy, por padrão, guarda informação. O exemplo acima não usa a maioria dos recursos disponibilizados pelo scrapy, mas usa os mais importantes. Poderemos revisar tais componentes no workshop da tarde.