Baixar para ler offline
![Seletores: CSS vs XPath
CSS
h2
div.classe
#item::text
?
XPath
//h2
.//div[@class="classe"]
.//*[@id="item"]/text()
.//*[@id="item"]/../section](https://image.slidesharecdn.com/webscrapingwithpython-221207041329-0b337e0c/85/Raspagem-de-Dados-com-Python-19-320.jpg)
Carregado porThiago Curvelo
Raspagem de Dados com Python
O documento apresenta uma introdução ao web scraping com Python usando o framework Scrapy. Explica que web scraping é a extração automatizada de dados de páginas da web para disponibilização estruturada. Também discute questões legais e técnicas como seletores, spiders e cookies.
Raspagem de Dados com Python
- 1. Raspagem de Dadoscom Python aka Hello, Scrapy!
- 2. Thiago Curvelo ● Estudeino IFPB & UFPB ● Trabalhei no TRT por 12 anos como "faz-tudo developer" ● Hoje: Crawling Engineer @ Scrapinghub ● tcurvelo
- 4.
- 5.
- 6. O que é? Extraçãoautomatizada dos dados de páginas da Web, e sua disponibilização de forma estruturada.
- 7. Quando usar? Quando ainformação é pública, mas não existe uma API
- 8. Para que serve? Écore para alguns negócios: ● comparadores de preço ● intermediadores de compras ● agregadores de emprego Usado em tomada de decisão, em outros: ● acompanhar tendências ● monitorar marcas ● vigiar a concorrência É um troço estratégico!
- 9. Mas...isso é legal? ●Seu bot deve ser educado! ● Usar os dados com ética ● Se você aceitar termos e condições, respeite! Porém, sempre há um conflito de interesse.
- 10. Tá mas… comofaz? ● um cliente HTTP baixa a página ● um parser encontra o que dado que você quer ● salvar só a informação que interessa
- 11. Scrapy ● framework pararaspagem de dados ● open source, feito em Python ● poderoso! ○ requisições assíncronas ○ seletores css e xpath ○ vazão adaptativa ● extensível e configurável ○ middlewares, pipelines, extensões, signals
- 12. Mas pera,é Scraperou Crawler??
- 13.
- 14.
- 16.
- 19. Seletores: CSS vsXPath CSS h2 div.classe #item::text ? XPath //h2 .//div[@class="classe"] .//*[@id="item"]/text() .//*[@id="item"]/../section
- 20.
- 21. "Eu vejo oelemento no browser,mas não consigo pegar pelo spider"
- 22. O browser émais que um cliente HTTP ● Baixa a página ● Baixa outros recursos (css, imagens, js) ● Executa JavaScript Inspect Element != View Page Source
- 23. "O site queeu quero tem muito JavaScript. Não dá pra usar o Scrapy"
- 24. A aba"Network"do browseré sua amiga! ● Procure pela API que o site consome
- 25. "Você não tá entendendo.Tem JavaScriptpara cara...mba!"
- 26. Ok...às vezes oesforço não compensa ● Splash ● scrapy-selenium ● chromium headless (pyppeteer), em breve…
- 27. "Eu preciso melogar. #comofaz"
- 29. "A ação quefiz na página anterior,não está refletindo na atual.Bagunçou foi tudo!"
- 30.
- 31. "Eu consigo acessar pelobrowser,mas dá erro pelo spider"
- 32. BAN! ● Você tápegando leve? ○ Ative o autothrottle ● Você tá dando muita bandeira que é um bot? ○ Tente outro user-agent ● Se tudo o mais falhar, use um Proxy Crawlera https://scrapinghub.com/crawlera
- 33. Links Úteis ● Scrapy ○https://scrapy.org/ ● Tutorial do Scrapy em Vídeo: ○ https://www.youtube.com/watch?v=vkA1cWN4DEc&list=PLZyvi_9gamL-EE3zQJbU5N3nzJcf NeFHU ● Scrapinghub: ○ Site: https://scrapinghub.com/ ○ Jobs: https://scrapinghub.com/jobs ○ Crawlera: https://scrapinghub.com/crawlera
- 34.