1. Centralisation des logs
flume-ng HBase Elasticsearch Kibana 3

2. Problématique
● Problème de disponibilité et capacité limitée
● Dispersion des données : SaaS, BI
● Stockage inadapté : MySQL
● Accès contraignant, problèmes de sécurité

3. ● Collecter les logs de manière centralisée
● Stockage durable et évolutif
● Les rendre accessibles
● Initialiser la plate-forme Big data viadeo
Objectifs

4. Application
servers
Data
Warehouse
HDFS
HBASE
Analytics Kibana
flume-ng
Solr
ES
sqoop
Plan d'ensemble
flux continus
import récurrents
plate-forme de stockage
applications tierces

5. Mise en œuvre : Indexation
● Rejouer n jours ou n minutes
● Proche du temps réel
● Idempotent
● Sources et formats hétérogènes

6. Mise en œuvre : Indexation
● Job MapReduce Hadoop natif
● TransportClient embarqué
● Indexation par lots
● Une configuration logstash "classique"
https://gist.github.com/deverton/2970285

7. Mise en œuvre : Métriques
● 17 nœuds Hadoop mutualisés
● 2 serveurs ES dédiés
● 30 mappers
● 260M / 3h de traitement pour 7 jours de logs
● 340K / 30s de traitement pour 8 minutes de logs

8. Mise en œuvre : Kibana
Kibana 3 tombe à pic !
● Maintenu au sein d'ElasticSearch
● Très rapidement fonctionnel
● Adaptable à des formats hétérogènes
● Fabriqué avec AngularJS

9. Mise en œuvre : Kibana

10. Mise en œuvre : Kibana

11. Message subliminal : votez pour https://github.com/elasticsearch/elasticsearch/pull/2538 :)