Ferramentas para raspagem de páginas e PDFs

1. Scraping
Vítor Baptista
vitor@vitorbaptista.com

2. Qual o problema?

3. Websites
● Requer envio de algum formulário?
● Requer login?
● Funciona sem JavaScript?

4. Website básico

5. Website com formulário

6. Website com login

7. Acessando elementos específicos
● CSS Selectors (HTML)
– .classe-css
– #id-elemento
– div#body
● XPath (XML)
– //table/td/tr

8. Ferramentas
● ScraperWiki
● ScrapingHub
● Mechanize (Python, Ruby, ...)
● Scrapy (Python)
● Ghost (Python, para sites que requerem
JavaScript)

9. PDFs
● Se você consegue selecionar texto do PDF,
ou seja, o PDF foi gerado por um programa
qualquer, e não é simplesmente um
documento escaneado, você está com sorte.
● Se não, as técnicas são as mesmas pra
quebrar CAPTCHA (vou falar a seguir)

10. Ferramentas
● Pdftables
● Tabula
● ScraperWiki
● pdftohtml

11. CAPTCHAS
● Existem para evitar que pessoas
automatizem o acesso a websites, seja para
raspagem ou para criar contas
● Para quebrar um CAPTCHA, primeiro baixamos
um grande número de imagens, as resolvemos
manualmente e usamos esse conjunto para
treinar a ferramenta escolhida

12. Limpeza de ruído
● ImageMagick

13. Ferramentas
● GOCR
● Tesseract
● DeathByCaptcha

14. GOCR
● Simples de usar
● Funciona em
CAPTCHAs mais
simples

15. Tesseract
● É a ferramenta livre mais poderosa
● Desenvolvida desde 1985 inicialmente pela
HP, depois pelo Google
● Difícil de usar

16. E se eu não conseguir quebrar o CAPTCHA?

17. Death By Captcha
● Uma das empresas que vende serviço de
“quebra” de CAPTCHAs
● Você envia a imagem do CAPTCHA e eles te
devolvem a solução
● São pessoas em algum lugar cujo trabalho é
quebrar CAPTCHAS
● US$ 1,39 por 1.000 CAPTCHAs (e você não
paga pelos errados)

18. Etiqueta de crawling
● Limite sua velocidade (normalmente uso 1
requisição por segundo)
● Adicione uma forma de contato ao seu User-
Agent