O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

Elasticsearch meetup#2 @Viadeo - Viadeo

1.679 visualizações

Publicada em

Publicada em: Tecnologia
  • Seja o primeiro a comentar

Elasticsearch meetup#2 @Viadeo - Viadeo

  1. 1. Centralisation des logsflume-ng HBase Elasticsearch Kibana 3
  2. 2. Problématique● Problème de disponibilité et capacité limitée● Dispersion des données : SaaS, BI● Stockage inadapté : MySQL● Accès contraignant, problèmes de sécurité
  3. 3. ● Collecter les logs de manière centralisée● Stockage durable et évolutif● Les rendre accessibles● Initialiser la plate-forme Big data viadeoObjectifs
  4. 4. ApplicationserversDataWarehouseHDFSHBASEAnalytics Kibanaflume-ngSolrESsqoopPlan densembleflux continusimport récurrentsplate-forme de stockageapplications tierces
  5. 5. Mise en œuvre : Indexation● Rejouer n jours ou n minutes● Proche du temps réel● Idempotent● Sources et formats hétérogènes
  6. 6. Mise en œuvre : Indexation● Job MapReduce Hadoop natif● TransportClient embarqué● Indexation par lots● Une configuration logstash "classique"https://gist.github.com/deverton/2970285
  7. 7. Mise en œuvre : Métriques● 17 nœuds Hadoop mutualisés● 2 serveurs ES dédiés● 30 mappers● 260M / 3h de traitement pour 7 jours de logs● 340K / 30s de traitement pour 8 minutes de logs
  8. 8. Mise en œuvre : KibanaKibana 3 tombe à pic !● Maintenu au sein dElasticSearch● Très rapidement fonctionnel● Adaptable à des formats hétérogènes● Fabriqué avec AngularJS
  9. 9. Mise en œuvre : Kibana
  10. 10. Mise en œuvre : Kibana
  11. 11. Message subliminal : votez pour https://github.com/elasticsearch/elasticsearch/pull/2538 :)

×