Web Talking + Coding Dojo na Superlógica Labs sobre Web Crawlers com Python no primeiro Python Campinas :)

1. WEB SCRAPING
COM
PYTHON

2. Matheus
Fidelis
DevOps na Superlógica Tecnologias
Twitter: @fidelissauro
Web: http://nanoshots.com.br
Email: msfidelis01@gmail.com

3. 1. WTF É WEB
SCRAPING?????

4. O QUE É WEB SCRAPING?
» Tão antigo quanto a arte de andar
» Mais apelidos que mãe no ensino médio
⋄ Web Scraping
⋄ Screen Scraping
⋄ Data Mining
⋄ Web Harvesting
⋄ BOTS!!

5. Prática de coletar
dados da Web que
não seja por API
ou intermédio
humano (Browser)

6. O QUE É WEB SCRAPING?
» Scripts automatizados
⋄ Mini-agentes, os Web Crawlers
⋄ Solicitar páginas HTML
⋄ Fazer o parsing e análise do arquivo
⋄ Minerar informações e metadados da URL
⋄ Gerar bases de dados
⋄ Abrir portas para Machine Learning, Sales,
Marketing, Hacking, Big Data e etc...

7. 2. POR QUE UTILIZAR?

8. POR QUE USAR WEB
SCRAPING?
» Navegadores são fodas! (Mas não são a única opção)
» Coletar e processar grande quantidade de dados
» Ir onde nenhum buscador jamais foi…
» Banco de dados estendido, de uma até 1 zilhão de
páginas

9. MAS…
E AS
API’S???(Dãããã)

10. QUAL O
PROBLEMA DE
UTILIZAR API’S??

11. NENHU
M!

12. E AS API’S?
»
» É ideal utilizar API (Se existir)
» API’s são tudo de bom, quando você encontra
alguma que te atenda legal.

13. QUANDO USAR WEB
CRAWLERS?
» Quando você está coletando dados de vários sites
» Quando o site não tem uma API coesa
» Quando você precisa de um conjunto de dados não
disponíveis na API
» A origem não tem infraestrutura ou conhecimento
técnico para criar uma API
» Quando a API tem limite de de
velocidade/requisição.

14. 3. PRINCIPAIS USOS

15. QUANDO USAR WEB
CRAWLERS?
» Buscadores
» Indexação e Ranking de conteúdo (SEO)
» Mineração de dados,
» Encontrar oportunidades comerciais, reclamações,
contatos, pessoas, sales, identificação de leads e etc
» Tanto um herói quanto um vilão

17. COMO FAZER UM GOOGLE
TENHA MILHÕES DE
DÓLARES PRA
COMPRAR SERVIDORES
E ARMAZENAMENTO

18. COMO FAZER UM GOOGLE
TENHA MILHÕES DE
DÓLARES PRA
COMPRAR SERVIDORES
E ARMAZENAMENTO
FAÇA UM
WEB
CRAWLER

19. COMO FAZER UM GOOGLE
TENHA MILHÕES DE
DÓLARES PRA
COMPRAR SERVIDORES
E ARMAZENAMENTO
FAÇA UM
WEB
CRAWLER
AUMENTE O
TRÁFEGO DE
TODA A
INTERNET

20. PRONT
O!

21. 4. COMO COMEÇAR?

22. COMEÇANDO - O MAIS SIMPLES
POSSÍVEL
» Modo de preparo:
⋄ 1 lib de request HTTP (urllib, urllib2, request, etc..)
⋄ BeutifulSoup
http://wiki.python.org.br/Beautiful
Soup

23. # pip install
beautifulsoup4

24. PRIMEIRO REQUEST COM
URLLIB2

25. HTML PURO FEIO PRA CRL

26. AGORA É A HORA DO BEAUTIFUL
SOAP
» Parsing de HTML, XML, HXML
» Transforma elementos HTML em objetos
» Facilita a busca e análise de dados
» REGEX

27. INICIANDO O
BEAUTIFULSOUP

28. INICIANDO O
BEAUTIFULSOUP

29. CAPTURANDO ELEMENTOS
HTML

30. CAPTURANDO ELEMENTOS
HTML

31. CAPTURANDO ELEMENTOS
HTML

32. CAPTURANDO ELEMENTOS
HTML

33. CAPTURANDO ELEMENTOS
HTML

34. ARMAZENANDO RESULTADOS -
LISTA

35. ARMAZENANDO RESULTADOS -
LISTA

36. 5. COISAS PRA DAR
ATENÇÃO

37. COISINHAS PRA DAR
ATENÇÃO
» Tratamento de Exceção
» Identificar links internos e externos
» Descarregar os links em alguma base de dados (SQL, NoSQL,
CSV, txt…)
» Tratar e normalizar os dados

38. RASTREANDO COM SEGURANÇA -
ERROS
» Tratamento de erros e exceções
» Deu merda, parou tudo
» Você foi dormir, esperando o crawler terminar, deu erro,
se f*(deu
» A WEB é uma zona
» Nem todos os dados estão da maneira que esperamos
» Use try; except;

39. Exceções
» A WEB é uma zona. Nem tudo é o que se espera...

40. RASTREANDO COM SEGURANÇA -
ERROS

41. RASTREANDO COM SEGURANÇA -
ERROS

42. Caixa baixa/alta e espaços em
branco
» .lower() .upper()
» .strip()

43. 6. TENTANDO SER GENTE

44. PARECENDO HUMANO
» HTTP Headers (Headers no request do URLib)
» Cookies (Selenium)
» Ritmo (soca um sleep)
» Verificação para humanos

45. HEADERS
HTTP

46. 7. CASOS EM QUE DEU
M#RD@

47. QUANDO DEU M#RD@?
» eBay vs Bidder’s Edge
» EUA vs Computer Fraud and Abuse Act
» Field vs Google

48. 8. CASOS QUE FOI
AMORZINHO

49. HTTPS://QUEROSER.T
ECH

50. OBRIGADO!
Perguntas?
Como me achar
» @fidelissauro
» msfidelis01@gmail.com