Este documento fornece instruções para construir um mecanismo de busca simples em Python. Ele explica como usar bibliotecas como Scrapy e lxml para extrair dados de páginas da web e apresenta exemplos de código para fazer requisições HTTP, processar respostas XML/HTML e exibir resultados. O objetivo é ensinar os princípios básicos por trás da indexação e busca na web usando a linguagem Python.

1. Construindo um Google
Pyrate
P y l a d i e s

2. 2

3. 3
Web Crawler
● Spider, robôs
● Usados para navegar na internet
buscando as paginas e lendo seu
conteudo.
● Usados principalmente pelos
motores de busca.
● GoogleBot, Yahoo
Slurp,DuckDuckBot...

4. 4

5. 5
Bibliotecas em Python
● PySpider
● Scrapy
● Pyquery
● lxml (pyguide)

6. 6
import request
● Para humanos
● urllib2

7. 7
import lxml
● Processamento de XML e HTML
● Seletor xpath

8. 8
Seletores
● Xpath
● CSS Selectors

9. 9
I/O
● sys.argv
● print()

10. 10
Como construir meu Google Pyrate
Pegar o que a usuária digitou e chamar a url do Google
resposta = requisicao.get('http://google.com/search')
Extrair da resposta os resultados.
lxml
….aqui a mágica acontece...
resultados_dict = {'titulo': resultados.text, 'url': resultados.href}
Exibir os resultados no terminal
print ('Titulo: ' + resultados_dict['titulo'] + ' | url: ' + resultados_dict

11. 11

12. 12
The End
● O que poder ser feito a mais:
● Verificar o status code
● Colocar mais resultados
● Permitir que o usuário customize a
busca
● Criar sua própria página de resultados
● Fazer busca dentro de um site
especifico. Não em toda a web.
● A idéia é aprender! Faça seu projeto.

13. Obrigada!
Roselma Mendes
rmendes@thoughtworks.com
github.com/roselmamendes