Hibernate Search - Sanne Grinovero 29/05/2010 - Jug Sardegna - JBoss User Group Roma

1. Java Users Group Sardegna e JBoss Users group Roma
Cagliari 29 Maggio 2010
HIBERNATE SEARCH
“Gooooglizzare” efficacemente
il domain model
Sanne Grinovero
Team Hibernate per Sourcesense

2. Example database

3. Search engine: obiettivi
● Chi cerca non sa cosa sta cercando:
● non è in grado di inserire l'ID dell'oggetto che
desidera recuperare
● non conosce il contenuto esatto del documento
● Interfaccia tipica:
● Form complesse con molti campi
● Testo libero!

4. Idea:

5. Specifiche “probabili”
● Campo unico
● Nome autore e/o nome prodotto
● Nome e cognome dell'autore, nomi composti
● Innanzitutto i match principali
● prodotti che corrispondono sia per nome che per
nome autore devono venire per primi
● Nomi completi di prodotto prima di nomi parziali
– “portatile mac” > “portatile”

6. SQL è il martello:
String nomeAutore = “Fabrizio De André”
String nomeProdotto = “Nuvole barocche”
List<Prodotti> list = s.createQuery( “ ...? “ );

7. SQL è il martello:
String nomeAutore = “Fabrizio De André”
String nomeProdotto = “Nuvole barocche”
List<Prodotti> list = s.createQuery( “ ...? “ );
String nomeAutore = “DeAndré Fabrizio”
String nomeProdotto = “Nuvole barocche”
List<Prodotti> list = s.createQuery( “ ...? “ );

8. SQL è il martello:
String nomeAutore = “Fabrizio De André”
String nomeProdotto = “Nuvole barocche”
List<Prodotti> list = s.createQuery( “ ...? “ );
String nomeAutore = “DeAndré Fabrizio”
String nomeProdotto = “Nuvole barocche”
List<Prodotti> list = s.createQuery( “ ...? “ );
String query = “F. de André nuvole barocche”
List<Prodotti> list = s.createQuery( “ ...???? “ );

9. E se poi “precisano” le specifiche?
● Similitudine:
● ʻhybernatʼ
● Prossimità e sinonimi:
● 'JPA' o 'Java Persistence API'
● Rilevanza:
● Più parole simili, o “più simili”
● Un termine nel titolo “vale” di più?

10. Come sarebbe Google se vi
restituisse i siti in ordine alfabetico?

11. Come sarebbe Google se vi
restituisse i siti in ordine alfabetico?
“hibernate”
About 8,320,000 results (0.20 seconds)

12. Lucene
● Progetto open source Apache™,
● nella “top 10” dei più scaricati.
● Community molto attiva.
● Un'implementazione di indice invertito all'avanguaria,
costantemente aggiornato allo stato dell'arte del
settore.
● Principalmente in Java ma portato in vari altri linguaggi.
● Si trovano innumerevoli estensioni open source, ad
esempio per il supporto ottimale di tutte le lingue
occidentali.

13. Lucene
● Similitudine tra termini e documenti
● Sinonimi
● Stemming
● Stopwords
● TermVectors
● MoreLikeThis
● Faceted Search
● Velocità e scalabilità orizzontale
● ... e naturalmente ricerche full-text.

14. Similitudine
Cagliari ⁓ càliari
Cagliari ⁓ cag agl gli lia ari
Cagliari ⁓ CGRI
● N-Grams (distanza di editing)
● Fonetico (Soundex™)
● Altro... definibile secondo necessità

15. Lucene: Sinonimi (o quasi)
giornale ⁓ periodico ⁓
quotidiano
● Applicabile a “index time”
● a “query time”
● Necessita di un vocabolario
● Integrabile con vari vocabolari (WordNet)

16. Lucene: Stemming
parliamone ⁓ parlo
Velocemente ⁓ velocità
Le grammatiche di stemming sono disponibili
per un'ampia scelta di lingue, spesso free.

17. Lucene: Stopwords
● Rimuovono “rumore di fondo” e termini di
disturbo dall'indice: una ricerca per “non e
queste al per da” non da indizi su cosa l'utente
stia cercando.

18. Può sembrare facile
● La struttura di un indice è profondamente
diversa da un modello relazionale.
● L'indice e il database devono rimanere in
coerenza, immediata o eventuale.
● Incoerenza: di quale vi fidate?
● Cosa restituiscono le query?

19. Differenze strutturali
dell'informazione

20. Incoerenze architetturali

22. Come integrare Hibernate Search
● Aggiungere hibernate-search al classpath e dipendenze
<dependency>
<groupId>org.hibernate</groupId>
<artifactId>hibernate­search</artifactId>
<version>3.2.0.Final</version>
</dependency>
● Il resto è opzionale:
● Dove mettere l'indice
● Estensioni
● Parametri per le performance
● Mapping più sofisticati
● Clustering

23. Come usare Hibernate Search
@Entity
public class Essay {
@Id
public Long getId() { return id; }
public String getSummary() { return summary; }
@Lob
public String getText() { return text; }
@ManyToOne
public Author getAuthor() { return author; }
...

24. Come usare Hibernate Search
@Entity @Indexed
public class Essay {
@Id
public Long getId() { return id; }
public String getSummary() { return summary; }
@Lob
public String getText() { return text; }
@ManyToOne
public Author getAuthor() { return author; }
...

25. Come usare Hibernate Search
@Entity @Indexed
public class Essay {
@Id
public Long getId() { return id; }
@Field
public String getSummary() { return summary; }
@Lob
public String getText() { return text; }
@ManyToOne
public Author getAuthor() { return author; }
...

26. Come usare Hibernate Search
@Entity @Indexed
public class Essay {
@Id
public Long getId() { return id; }
@Field
public String getSummary() { return summary; }
@Lob @Field @Boost(0.8)
public String getText() { return text; }
@ManyToOne
public Author getAuthor() { return author; }
...

27. Come usare Hibernate Search
@Entity @Indexed
public class Essay {
@Id
public Long getId() { return id; }
@Field
public String getSummary() { return summary; }
@Lob @Field @Boost(0.8)
public String getText() { return text; }
@ManyToOne @IndexedEmbedded
public Author getAuthor() { return author; }
...

28. Altro esempio
@Entity @Entity
public class Author { public class Book {
@Id @GeneratedValue private Integer id;
private Integer id; private String title;
private String name; }
@OneToMany
private Set<Book> books;
}

29. Struttura dell'indice
@Entity @Indexed @Entity
public class Author { public class Book {
@Id @GeneratedValue private Integer id;
private Integer id; @Field(store=Store.YES)
@Field(store=Store.YES) private String title;
private String name; }
@OneToMany
@IndexedEmbedded
private Set<Book> books;
}

30. Codice di Query:
String[] productFields = {"summary", "author.name"};
QueryParser parser = new MultiFieldQueryParser(productFields,
new StandardAnalyzer() );
Query luceneQuery = parser.parse(searchQuery);
FullTextEntityManager ftEm =
Search.getFullTextEntityManager(entityManager);
FullTextQuery query =
ftEm.createFullTextQuery(luceneQuery,Product.class );
List<Essay> items = query.setMaxResults(100).getResultList();
int totalNbrOfResults = query.getResultSize();
TotalNbrOfResults= 8.320.000
(0.20 seconds)

31. Risultati
● Pojo gestiti!
● Paginazione
● .setMaxResults( 20 ).setFirstResult( 100 );
● Restrizioni per tipo
● .createQuery( luceneQuery, A.class, B.class, ..);
● Projection
● Result mapping

32. Demo / Tests
org.hibernate.search.test.filter.FilterTest
org.hibernate.search.test.compression.CompressionTest

34. Filtri
@Indexed @Entity
@FullTextFilterDefs( {
@FullTextFilterDef(name = "disponibiliSubito", impl =
ProdDisponibileFilter.class, cache =
FilterCacheModeType.NONE),
@FullTextFilterDef(name = "security", impl =
SecurityFilterFactory.class, cache =
FilterCacheModeType.INSTANCE_AND_DOCIDSETRESULTS)
})
public class Prodotto {
...

35. Filtri
FullTextQuery ftQuery = s // s è di tipo FullTextSession
.createFullTextQuery( query, Prodotto.class )
.enableFullTextFilter( "vietatoMinori" )
.enableFullTextFilter( "offerteDelGiorno" )
.setParameter( "giorno", “20100529” )
.enableFullTextFilter( "disponibiliSubito" )
.setParameter( "sede", "Cagliari" );
List<Prodotto> risultati = ftQuery.list();

36. Analizzatori custom
@Entity @Indexed
@AnalyzerDef(name = "italianAnalyzer",tokenizer =
@TokenizerDef(factory=StandardTokenizerFactory.class),filters = {
@TokenFilterDef(factory = LowerCaseFilterFactory.class),
@TokenFilterDef(factory = SnowballPorterFilterFactory.class,
params = {@Parameter(name = "language", value = "Italian")})
})
public class Book {
@Field(index=Index.TOKENIZED, store=Store.NO)
@Analyzer(definition = "italianAnalyzer")
private String title;
...

37. Altro...
● @Boost e @DynamicBoost
● @AnalyzerDiscriminator
● @DateBridge(resolution=Resolution.MINUTE)
● @ClassBridge e @FieldBridge
● @Similarity
● Automatic Index optimization

38. Clustering per coda

39. Clustering per distributed store

40. Mass (re)indexing
fullTextSession.createIndexer()
.startAndWait();

41. Mass (re)indexing
fullTextSession.createIndexer(Hotel.class,
Person.class,Car.class)
.threadsForSubsequentFetching( 8 )
.threadsToLoadObjects( 4 )
.batchSizeToLoadObjects( 30 )
.startAndWait();

42. Futuro prossimo
● Astrazione delle query Lucene
● Performance migliorate
● NumericField
● FieldCache
● Indicizzazione di Pojo non gestiti da Hibernate
● Infinispan “automagic” clustering
● Ulteriori opzioni sul MassIndexer
● Mapping dinamico

43. Domande?
http://search.hibernate.org
● Hibernate Search in Action
http://lucene.apache.org
● Lucene In Action (2°ed)
http://in.relation.to
http://forum.hibernate.org
twitter.com/SanneGrinovero
www.sourcesense.com