Turbinando sua aplicação com Lucene, Solr e Hibernate Search

Turbinando sua aplicação com Lucene
Solr & Hibernate Search

Paulo César M. Jeveaux - @jeveaux
paulo.jeveaux@giran.com.br

sábado, 19 de setembro de 2009

Jeveaux
• CEO da Giran
• Desenvolvedor Java há 8++ anos
• Fundador do ESJUG e Agile-ES
• Administrador do PortalJava.com
• Palestrante e evangelista Java
• Entusiasta Ruby, Rails, Python e Agile
• Curioso e estudando Erlang

Giran Soluções e Ensino
• Consultoria e Treinamento especialidados
• Java
• Ruby on Rails
• Desenvolvimento ágil
• Gerenciamento de projetos com SCRUM
• Proﬁssionais altamente qualiﬁcados
• Participação ativa na comunidade
• http://www.giran.com.br

Sobre o que vamos
falar hoje...


#ESFM
estável
seguro
e de fácil
manutenção

• Pesquisas

• Lucene

• Solr

• Hibernate Search


o que é um software de
pesquisas?

o que um software
de pesquisa faz?


FAZ


monta um índice
FAZ


monta um índice
FAZ responde a pesquisas
baseando-se neste índice


monta um índice
FAZ responde a pesquisas
baseando-se neste índice

Search Software?
Eu faço LIKE
direto no banco de dados


OFERECE


OFERECE
relevância


OFERECE
relevância

escalabilidade


OFERECE
relevância

escalabilidade

integração com diversas fontes
de dados


baseado em palavras
não em substrings

carro OU automóvel
auto != automóvel
má OU macho


baseado em palavras
não em substrings

carro OU automóvel
auto != automóvel
má OU macho talvez aqui no Ceará não ;-)


baseado em palavras
não em substrings

carro OU automóvel
auto != automóvel
má OU macho talvez aqui no Ceará não ;-)

e agora!?
como fazer no banco de dados?

Apache
Lucene

Search
Software

Open Source
Search
Software

Lucene Java

Solr


Mahout PyLucene

Lucene Java desde 2000
Lucy

Tika
Solr Lucene.Net

Open Relevance Nutch
Project
Droids

Lucene Java

indexação e pesquisa

java 1.4++

nenhuma dependência, nenhuma!

qualquer coisa é um documento


Lucene Java


java 1.4++

nenhuma dependência, nenhuma!

qualquer coisa é um documento
{ }
fields
fields
fields


Lucene Features
indexação e pesquisa bastante rápidas

query syntax simples e poderosa

ordenação por relevância ou por campos (ﬁelds)

comunidade grande e ativa

Apache License 2.0


Lucene Query Syntax
cejug
“cejug”
*jug
café AND tapioca
café OR tapioca
café NOT tapioca
jug:cejug


Lucene Query Syntax
cejug
“cejug”
*jug
café AND tapioca +café +tapioca
café OR tapioca
café NOT tapioca
jug:cejug


Lucene Query Syntax
cejug
“cejug”
*jug
café AND tapioca +café +tapioca
café OR tapioca
café NOT tapioca +café -tapioca
jug:cejug


Lucene Features++
normalização de textos (Analyzer)

normalização linguística

lowercase

stopwords

tokenizer


Lucene Features++

normalização linguística guri => menino

lowercase

stopwords

tokenizer


Lucene Features++


lowercase

stopwords a, e, ou, para, de, etc ...

tokenizer


Lucene Features++


lowercase


tokenizer ce-jug: java => ce, jug, java, cejug


Lucene Features++


má => macho
lowercase


tokenizer ce-jug: java => ce, jug, java, cejug


Lucene Features++
Fuzzy search

distância de levenshtein

“ceará java ~ 0.75”

Proximidade

“ceará java” ~ 5


aprendendo
o básico


aprendendo
o básico
1. INDEXAR


aprendendo
o básico
1. INDEXAR

2. PESQUISAR

index
1. crie um documento
a. adicione os ﬁelds

2. adicione o documento
ao index

3. o indexador irá analisar
o documento e atualizar
o index


index search
1. crie um documento 1. crie uma query
a. adicione os ﬁelds
2. abra um index
2. adicione o documento
ao index 3. pesquise no index

3. o indexador irá analisar 4. itere no resultado e
o documento e atualizar exiba-o
o index


hands on!


Solr


Search Server

baseado no lucene

Search Server

Solr

caching replicação
XML
JSON
alta
performance administração
amigável
full-text
search Solr

Solr

servidor web de indexação e pesquisa

java 1.5++

possui o lucene em seu core


Solr Features
interface web de administração

otimizações para alta performance e muito tráfego

suporta caching e replication

XML/HTTP e JSON API

faceted search

hit highlighting

Hibernate
Search

o melhor de
dois mundos?

talvez!

o melhor de
dois mundos?

Hibernate Search Features
hibernate core + JPA

baseado em anotações

indexação baseada em eventos (transparente)

integração com seu modelo


hibernate core + JPA + lucene
baseado em anotações

indexação baseada em eventos (transparente)

integração com seu modelo


elimina a conversão para documentos

mantém seu índice atualizado

depende do hibernate core e annotations

também possui integração com Solr

amigável com soluções JBoss*


Conclusões
lucene

rápido e poderoso

simples e leve

sem dependências

não possui webcrawlers ou parsers

Conclusões
solr
servidor de indexação e pesquisa

Restful API (HTTP e XML)

cliente não precisa ser Java

administração fácil via web

construído sobre o lucene

Conclusões
hibernate search
integração com seu modelo de dados

sem manipulação direta de documentos

sincronização transparente do index

dependência do hibernate


http://www.esjug.org


Referências
• http://search.hibernate.org
• http://lucene.apache.org
• http://lucene.apache.org/solr
• http://info.abril.com.br/noticias/ti/fbi-e-cia-vao-abracar-o-codigo-
aberto-22062009-35.shl
• http://www.getopt.org/luke
• http://vitorpamplona.com/wiki/Introdução%20ao%20Apache
%20Lucene
• http://www.lucenetutorial.com
• http://wikipedia.org

Exemplos & Códigos
• Lucene
• http://github.com/jeveaux/aprendendo-lucene
• Solr
• http://github.com/jeveaux/aprendendo-solr
• Hibernate Search
• http://github.com/jeveaux/aprendendo-
hibernatesearch


dúvidas?

Obrigado!

http://www.cejug.org

Turbinando sua aplicação com Lucene, Solr e Hibernate Search

Recomendados

Recomendados

Mais conteúdo relacionado

Destaque

Destaque (9)

Mais de Paulo César M Jeveaux

Mais de Paulo César M Jeveaux (20)

Turbinando sua aplicação com Lucene, Solr e Hibernate Search