O documento apresenta uma introdução sobre Search as a Service (SAAS) e discute: 1) problemas comuns em buscas e desafios para resolvê-los; 2) motores de busca como Apache Lucene e Solr; 3) visão macro de uma arquitetura de busca incluindo indexação, ingestão e busca de documentos.

1. SAAS - Search as a Service
Leandro Pereira Pinto

2. Um pouco sobre mim...
● Fatec São Caetano do Sul, turma de 2007.
● +7 anos de experiência em Desenvolvimento
● +3 anos de experiência em Busca
● Casado com a Michelle
● Duas filhas, a Manuella e a Antonella 2

3. Agenda
1. Problemas Comuns e Desafios na Busca
2. Search Engines
3. Visão Macro de uma Arquitetura de Busca
4. Indexando Documentos
5. Relevância 3

4. Problemas Comuns e
Desafios na Busca
4

5. Problemas Comuns e Desafios na Busca
● Erros de Cadastro/Taxonomia
● Mesmos SKUs para ofertas diferentes
● Filtros por tamanho e cor
● Busca em campos descritivos
● Tempo para os produtos aparecerem no resultado 5

6. 6

7. 7

8. Search Engines
(Motores de Busca)
8

9. Search Engines
● Open Source
● Apache License, v 2.0
● Apache Lucene
● Cloud
9

10. Search Engines
● Master/Slaves (não Solr Cloud)
● Shards/Replicas (Solr Cloud)
● Solr Admin
● Shards/Replicas
● DSL Queries
● Kibana
10

11. 11
Search Engines
[DB-Engines]

12. Visão Macro de uma Arquitetura
de Busca
12

13. Visão Macro de uma Arquitetura de Busca
13

14. Indexando Documentos
14

15. Indexando Documentos
API
● Normalizar dados
● Enriquecimento de
informações
● Coleta de métricas de
Search Engine
● Configurar índices
● Configurar mapping/schema
● Template para criação de
índices
15

16. template/
{
"template": "index-prefix*",
"settings": {
[...]
},
"mappings": {
"index-name-prefix": {
[...]
}
}
}
16
Configurando Template

17. settings/index "settings": {
"index": {
"number_of_shards": "8",
"number_of_replicas": "2",
"refresh_interval": "300s",
"analysis": {
[...]
}
}
}
17
Configurando Template

18. settings/index/analysis
"filter": {
"stopwords": {
"type": "stop",
"stopwords": [ "de" ]
},
"synonym": {
"type": "synonym",
"synonyms": [
"i-pod, i pod => ipod" ]
},
"brazilian_stemmer": {
"type": "stemmer",
"language": "brazilian"
}
}
18
Configurando Template

19. settings/index/analysis
"analyzer": {
"searchable_text": {
"filter": [
"word_delimiter",
"lowercase",
"asciifolding",
"stopwords",
"synonym",
"brazilian_stemmer"
],
"tokenizer": "standard"
}
}
19
Configurando Template

20. mapping/index-prefix/
"dynamic_templates": [
{
"strings": {
"mapping": {
"type": "keyword",
"fields": {
"text": {
"type": "text"
}
}
},
"match_mapping_type":
"string"
}
}
]
20
Configurando Template

21. mapping/index-prefix/
"properties": {
"title": {
"type": "text",
"analyzer": "searchable_text"
},
"timestamp": {
"type": "date",
"format":
"yyyy-MM-dd'T'HH:mm:ss.SSSZ"
}
}
21
Configurando Template

22. Relevância
22

23. Relevância
Pode ser equalizada baseada em pesos distintos para:
● Popularidade
● Venda
● Avaliação do Seller
● Review/Rate
● Número de vezes em que aparece no resultado de busca x número de pageviews gerado
● etc.
Score
23

24. Ingest Pipeline
24

25. Ingest Pipeline
● Funciona como uma espécie de Trigger
● É ativada sempre que um documento é inserido
25

26. 26
Ingest Pipeline - Elasticsearch

27. 27
ADD Document 1
GET Document 1
Ingest Pipeline - Elasticsearch

28. Buscando Documentos
28

29. ● Geolocalizadas
● Nested
● Ranges
● Querystring
● Filtros
● Agregação
● Ordenação
Buscando Documentos - Serviços Comuns
29

30. ● Para Facets, evite utilização de campos de textos analisados.
● Evite permitir buscas em campos descritivos.
● Para buscas paginadas, prefira utilizar ponteiros.
Buscando Documentos - Cuidados
30

31. ● Colete métricas das pesquisas.
● Pode ser utilizado Engine de Regras.
● Mantenha o cluster monitorado.
Buscando Documentos - Dicas
31

32. Fontes
https://db-engines.com/en/ranking_trend/search+engine
http://solr-vs-elasticsearch.com/
https://www.elastic.co/blog
http://lucene.apache.org/solr/guide/6_6/
https://www.elastic.co/guide/index.html
32

33. Obrigado!
● Sobre o que falamos:
○ Principais problemas encontrados
○ Projeto de arquitetura básico de uma stack de busca
○ Configurando índices e gerenciando nosso mapping/schema
○ Como melhorar a relevância do resultado de busca
Leandro Pereira Pinto
skype: pereirapleandro
+55 11 96075-7922
pereirapleandro@gmail.com
33