Steven Schuurman, CEO von Elasticsearch, hat es in einem Blog als die „wahrscheinlich wichtigste Ankündigung seit Gründung der Firma“ genannt. Gemeint hat er Marvel. Marvel ist ein neues Tool, das ein Monitoring eines Elasticsearch-Clusters ermöglicht. Dieses beinhaltet Informationen über Elasticsearch, Lucene und das System selbst. Ein Tool, welches ein so umfangreiches Monitoring für Elasticsearch anbietet, ist einzigartig auf dem Markt.
Alle Metriken zu sammeln, zu visualisieren und miteinander in Zusammenhang zu bringen gibt Ihnen Einblicke in Elasticsearch-Cluster, die so vorher mit großem Aufwand verbunden waren. Zustand, Verfügbarkeit, Nutzung, Auslastung Ihrer Umgebung können Sie nun bequem über ein einziges Tool beobachten – in Echtzeit oder auch historisch.
Dieses Webinar gibt Ihnen einen Überblick über die Möglichkeiten, die Ihnen Marvel bietet, die Installation in einem Cluster, die Verwendung von Marvel sowie die Analyse Ihres Clusters.
Inhalte des Webinars:
• Was ist Marvel?
• Die Funktionsweise von Marvel
• Installation von Marvel
• Abgrenzung zum ELK-Stack
• Vorteile gegenüber anderen Monitoring-Ansätzen
• Die wichtigsten Metriken
• Customizing Marvel
Jax 2012 - Apache Solr as Enterprise Search Platform
Elasticsearch Cluster Management mit Marvel
1. ELASTICSEARCH CLUSTER
MANAGEMENT MIT MARVEL
Webinar am 13. März 2014
Technology
Drives
Business
Apache Solr, Solr, Apache Lucene, Lucene and their logos are trademarks of the Apache Software Foundation.
Elasticsearch, Kibana, Marvel, Logstash are trademarks of Elasticsearch BV, registered in the U.S. and in other countries.
2. MARKUS KLOSE
Expertise in Elasticsearch, Solr, Lucene,
Fast ESP
Certified Apache Solr Trainer
Speaker, Blogger
Author “Einführung in Apache Solr”
Contributor
@markus_klose
3. UP-COMING EVENTS
Webinar 03.04.2014
Analytics in Online-Shops
Webinar 10.04.2014
Suche und Navigation in Online-Shops.
Mit Elasticsearch und Solr
Webinar 15.04.2014
Innovationen in Recommendationsystemen
für eCommerce
1
2
3
4. AGENDA
Kurzvorstellung SHI
Einführung in Elasticsearch Marvel
SetUp Elasticsearch Marvel
Dashboards & Metriken
Demo
Q & A
5. Heute
2013
2011
SEIT 1994
Hersteller-unabhängiges Unternehmen. Lösungen rund um
Suche, Navigation und Datenanalyse mit Fokus auf Open Source.
Partnerschaft mit
Partnerschaft mit
2000 Erste Projekte mit Open Source
1994 Unternehmensgründung und Entwicklung eines Produkts
6. UNSERE MISSION
Seit 1994 hersteller-unabhängiges Unternehmen für IT Consulting und Software
Engineering.
Wir bieten Lösungen rund um Semantic Search, Analytics und Big Data auf Basis
etablierter Open-Source Software.
Wir stellen Werkzeuge bereit, die durch optimale Nutzung der Technologie und Daten
unsere Kunden beim Erreichen Ihrer Geschäftsziele unterstützen.
7. WAS WIR TUN
MIT SERVICES
DURCH
ANWENDUNG
DES KNOW-HOWS
REALISIEREN
LÖSUNGEN,
UM DATEN
NUTZBAR ZU
MACHEN!
• Strategy Consulting
• Technical Consulting
• Architecture Review
• Development Support
• Team Enablement
Through Workshops and
Trainings
• Technology Comparison
• Tuning & Troubleshooting
• Migration Services
• Experts to Hire
• Service Level Agreements
• Software Architecture
• Coding Services for Java,
C++/C, .NET, PHP for
multiple OSs.
• Continuous Integration
and Test Driven
Development
• Managing Software
Project Lifecycle
• Commerce Search
• Intranet Portal Search
• Website Search
• Search Knowledge
Management
• Analytics
• Social Media Monitoring
UND
ETABLIERTEN
PRODUKTEN
UND
PARTNERN
• Apache Solr/Lucene
• Apache Mahout
• Apache Hadoop, Pig, Hive
• LucidWorks Search
• LucidWorks Search Big Data
8. IHR DRAHT ZU UNS
SHI GmbH & Co. KG
Curt-Frenzel-Str. 12
D - 86167 Augsburg
info@shi-gmbh.com
+49.821.74 82 633 - 0
@SHIEngineers
Michael Marheineke Markus Klose Daniel Wrigley
9. DAS IST MARVEL
Cluster Management und Monitoring Tool
Server/Index Statistiken
Event Monitoring
uvm.
Basiert auf dem ELK Stack
bringt zusätzliche Funktionalität mit
Voraussetzung: min ES Version 0.90.9
10. MARVEL = ++KIBANA
mavel.cluster – Cluster Status auf einen Blick
marvel.stats_table – Metriken auf einen Blick
11. SETUP SIMPLE
Marvel muss auf allen Nodes installiert werden
ES Starten
1 bin/elasticsearch
Installation
Restart ES
Aufruf
2
3
4
bin/plugin -i elasticsearch/marvel/latest
http://localhost:9200/_plugin/marvel
13. DASHBOARD OVERVIEW
Ideal für das Tagesgeschäft
Cluster Status
allg. Informationen
Performance Overview
Anzahl Dokumente, QPS
Nodes Overview
alle Nodes mit den wichtigsten Merkmalen
Index Overview
alle Indexe mit den wichtigsten Merkmalen
14. DASHBOARD NODES
Ideal für System Monitoring
Hardware & Betriebssystem relevante Informationen
Disk, CPU, JVM, Netzwerk
Index relevanter Überblick
POST, GET, Memory, Indexverhalten
Elasticsearch relevante Metriken
Thread Pool
15. DASHBOARD INDEX
Ideal für Performance Monitoring
Request relevante Metriken
Suche, Indexierung, Percolation
Index relevante Metriken
Anzahl Dokumente, Index Größe, Cache
Management relevante Themen
Refresh, Flush, Merge
16. DARÜBER HINAUS
Cluster Pulse – Ideal für Cluster Monitoring
Node Restart
Index Status
uvm.
Sense - Ideal für Developing
Prototyping Such-Requests
AdHoc Anfragen
17. MARVEL ANPASSEN
Ideal für Ihr Business
Dashboards anpassen
Panels löschen, verschieben & hinzufügen
Look & Feel anpassen
Eigene Dashboards erstellen
Überblick über domainspezifische Themen
Grenzen bei Metriken selbst definieren
„Filtern“ durch Suche
…
20. KONTAKT
SHI GmbH & Co. KG
Curt-Frenzel-Str. 12
D - 86167 Augsburg
info@shi-gmbh.com
+49.821.74 82 633 - 0
@SHIEngineers
Michael Marheineke Markus Klose Daniel Wrigley
21. INFORMATIONEN
SHI Blog: www.shi-gmbh.com/blog
Elasticsearch Marvel: http://www.elasticsearch.com/marvel
Elasticsearch Marvel Dokumentation http://www.elasticsearch.org/guide/en/marvel/current/
Download Elasticsearch: http://www.elasticsearch.org/overview/elkdownloads/
Einige Bilder wurden über iStockphoto.com bezogen.
Notas do Editor
Fragen:
Betreiben Sie aktives Monitoring Ihres Elasticsearch Clusters? (Ja/Nein)
Welche Tools nutzen Sie dafür (Nagios/….)
TODO
Agenda erst so spät????
Deutsche Folien?
Wenn Interesse an Fortsetzungen bzw. bestimmten verwandten Themen besteht, können Sie uns gerne schreiben. Es ist durchaus möglich, dass es ein weiteres Webinar aus dieser Reihe gibt. Wir verfolgen Ideen von Zuhörern natürlich gerne weiter, denn dort wissen wir schon sicher von Interessenten.
Wenn es Themen gibt, die eher technischer Natur sind und arg in die Tiefe gehen, kann es sein, dass "nur" ein Blog-Beitrag veröffentlicht wird.
Das erste echte produkt
Marvel speichert alles in einem eigenen INdex
Ideal für daily business
BILD – OUT of the BOX
http://www.elasticsearch.org/webinars/elasticsearchmarvel/
Ideal für hardware Monitoring
BILD – OUT of the BOX
http://www.elasticsearch.org/webinars/elasticsearchmarvel/
Ab minute 10 sense
Ab min 15 cluster pulse
http://www.elasticsearch.org/webinars/elasticsearchmarvel/
Ideal für prototyping
BILD – OUT of the BOX
Cluster pulse
EVENTS
TODO
BILD Custom dashbord
Wenn Interesse an Fortsetzungen bzw. bestimmten verwandten Themen besteht, können Sie uns gerne schreiben. Es ist durchaus möglich, dass es ein weiteres Webinar aus dieser Reihe gibt. Wir verfolgen Ideen von Zuhörern natürlich gerne weiter, denn dort wissen wir schon sicher von Interessenten.
Wenn es Themen gibt, die eher technischer Natur sind und arg in die Tiefe gehen, kann es sein, dass "nur" ein Blog-Beitrag veröffentlicht wird.