Este documento descreve a construção de um motor de busca usando Python e Elasticsearch. O projeto visa criar um sistema de busca para a Globo que possa lidar com milhares de requisições por segundo e indexar milhões de documentos em tempo real. O Elasticsearch é usado para armazenar e pesquisar os dados, enquanto Python facilita a indexação, sugestões e integração com outras bibliotecas.

1. Construindo um searchengine
com Python e Elasticsearch

2. hmleal.github.io
@hmleal

3. globo.com
talentos.globo.com

4. Os sistemas de busca são as
fundações da internet

5. A maioria dos usuários olha para os sistemas
de busca como a maneira mais rápida para
encontrar a informação que procuram

6. 80 mil pesquisas dia

7. 3.207.684 milhões de documentos
* apenas G1

8. 10 milissegundos
* Tempo médio de resposta

10. Um Anel para a todos governar,
Um Anel para encontrá-los

11. Um Projeto para a todos governar,
Um Projeto para encontrá-los

12. O projeto: Busca Globo

14. ● python 2.7 :)
● Elastichsearch

15. O Elasticsearch é um servidor
de buscas distribuído baseado
no Apache Lucene.

16. API Rest simplificada

17. Indexando um novo documento
curl -XPOST http://localhost:9200/blog/articles/1
-d ‘{“content”: “Senhor dos anéis”}’

18. Indexando um novo documento
agora em python :)
import json
import requests
url = ‘http://localhost:9200/blog/articles/1’
document = {‘content’: ‘Senhor dos anéis’}
requests.post(url, data=json.dumps(document))

19. Suggest
localhost:9200/_suggest

20. Pré Suggest
localhost:9200/_suggestoes/

21. Python é uma linguagem de
programação de alto nível,
interpretada, de script, orientada a
objetos, de tipagem dinâmica e forte.
Foi lançada por Guido van Rossum em
1991

22. Bibliotecas usadas

24. Foco em suportar o maior número de requisições simultâneas

25. Eleições 2016
Search Rate: 8600/second

26. github.com/globocom/tornado-es

27. Perguntas