Présentation faite le 8/11 pour @Min2Rien à Lille

1. Centralisation de logs:
Parc info &
Data Center
Retours d’expérience
Johan THOMAS - johan.thomas@univ-rennes1.fr - @jothoma1 - Journée sécurité @Min2rien 08/11/2016 Lille

2. Sommaire
2 retours d’expérience de centralisation des logs
1 outil commun : Graylog
• Parc informatique
• Data Center universitaire
-> Contexte
-> Objectifs
-> Réalisation
-> Et la suite ???
Johan THOMAS - @jothoma1 2

3. La centralisation des logs
Johan THOMAS - @jothoma1 3
ELK, Splunk, Graylog, etc
Formats : GELF, JSON, etc
Syslog-NG, PHP, mySQL, développement locaux,
pas scalable, …
Format : syslog

4. • SSI : législation, -> vrai politique de logs (durée d’exploitation,
archivage), corrélation, contrôle d’accès aux logs, …
• Reporting : Dashboards, amélioration continue, anticipation,
réactivité, gestion de problèmes, alerting, …
Permettre aux utilisateurs d’utiliser leurs données !
Les enjeux actuels de la centralisation des logs
Johan THOMAS - @jothoma1 4

5. Retour n°1:
Académie de Rennes
Johan THOMAS - @jothoma1 5

6. Contexte: Rectorat d’académie de Rennes
2013…
Migration vers Win 7 / Active Directory
Sauvegarde des données, refonte des espaces
Pas de gestion centralisée du poste
Johan THOMAS - @jothoma1 6
Des changements importants :
- dans l’organisation
- dans l’expérience utilisateur

7. Les besoins
• Du suivi ! (utilisation, déploiements)
• Meilleure prise en compte des demandes
• Réactivité dans l’assistance
• Visibilité
• Suivi
• Tableaux de bord
Johan THOMAS - @jothoma1 7
-> Centralisons les logs des
postes de travail !

8. Comment ? Sur les postes ?
Johan THOMAS - @jothoma1 8
• Besoin d’une interface sur le poste
http://www.nxlog.org
• Open Source
• Branchement sur observateur
événements
• Packagé
• Maintenance très simple
• Modulaire
• Multiplateformes

9. Comment ? Centralisation
Johan THOMAS - @jothoma1 9
• Des milliers de postes
• Des milliards de lignes d’informations
• Des fonctionnalités (moteur de recherche, …)
ELK ??
Splunk ??
Graylog ??
GELF | Graylog Extended Log Format

10. Pourquoi Graylog?? -> Fonctionnalités
• A l’origine du format GELF
• Gère complètement elasticsearch
• Politique de rotation
• Moteur de recherche
• Alerte
• Authentification / Rôles
• Reporting (dashboards, facile d’accès)
• Extrêmement performant
• Extensible
• Mature
• INPUTs & OUTPUTs
• Extracteurs
Johan THOMAS - @jothoma1 10
• Archivage
• Gestion des loggers
• Marketplace (forte communauté)
• API
• Scalable
• Simple à prendre en main
• Etc.

11. Usage Rectorat d’Académie de Rennes
• Migration Seven & Gestion AD
• Suivi des erreurs login / mot de passe
• Stockage : erreurs caractère spécial, nom de fichier
trop long
• Infection Virus
• Déploiement applis et erreurs applicatives
• Détection des erreurs disques
• Assistance proactive
Johan THOMAS - @jothoma1 11

12. Usage Rectorat d’Académie de Rennes
• Moteur de recherche
Johan THOMAS - @jothoma1 12

13. Usage Rectorat d’Académie de Rennes
Johan THOMAS - @jothoma1 13
• Tableaux de bord

14. Usage Rectorat d’Académie de Rennes
• Alertes
Johan THOMAS - @jothoma1 14

15. Retour n°2:
Université de Rennes 1
Johan THOMAS - @jothoma1 15

16. Contexte: DSI Université de Rennes 1
2016…
• Solution centralisation vieillissante
• Pas systématique
• Politique de rétention ?
• Pas d’exploitation des données
• Utilisation complexe…
Johan THOMAS - @jothoma1 16

17. Les objectifs
2016…
• Refonte solution centralisation
• Politique de rétention
• Sécurité
• Extension du périmètre
• Les enjeux:
• Sécurité
• Conservation
• Analyse & Reporting (indicateurs, dashboards)
Johan THOMAS - @jothoma1 17

18. Pourquoi Graylog?? -> Fonctionnalités
• A l’origine du format GELF
• Gère complètement elasticsearch
• Politique de rotation
• Moteur de recherche
• Alerte
• Authentification / Rôles
• Reporting (dashboards, facile d’accès)
• Extrêmement performant
• Extensible
• Mature
• INPUTs & OUTPUTs
• Extracteurs
Johan THOMAS - @jothoma1 18
• Archivage
• Gestion des loggers
• Marketplace (forte communauté)
• API
• Scalable
• Simple à prendre en main
• Etc.

19. Comment
• UDP : Equipements réseaux
• TCP : tout ce qui le supporte
• Shippers : Rsyslog / Nxlog / Log4j / etc
• Format Syslog lorsqu’on ne peut pas faire autrement
• Formats JSON / GELF partout ailleurs
• Formation / accompagnement des équipes
Johan THOMAS - @jothoma1 19

20. Organisation
• Briques techniques :
• Outillage de gestion de conf (Puppet) -> serveurs / applications
• Politique de rétention (elasticsearch)
• Entièrement gérée dans Graylog.
• 1 indice par jour / Max 105 (3 mois d’exploitation des logs)
• Archivage pendant 1 an (soulagement cluster elasticsearch & coût de
stockage) Graylog enterprise
• Automatique !
• Branchement Référentiel d’identités
Johan THOMAS - @jothoma1 20

21. Organisation
Johan THOMAS - @jothoma1 21
Load Balancer
Graylog
Stratégie de rotation:
1 indice / jour
Stratégie de rétention:
Max: 105 indices
Archivage externe puis
suppression des indices dans
Elasticsearch
LOGS
Elasticsearch
Archivage
Stockage SAN : disques
rapides & coûteux
3 mois d’exploitation
Disques lents & peu
coûteux
9 mois de conservation
(requête judiciaire)
Reception /
Cache
Catégorisation
Traitement
INPUTS /
OUTPUTS
Alerting ACL
UI API

22. Cas d’usages
Johan THOMAS - @jothoma1 22

23. Cas d’usages
Johan THOMAS - @jothoma1 23
Services
« techniques »
(httpd, mysql,
radius, réseau, …)
SSI
Services
fonctionnels

24. What’s Next ??
• Continuer l’extension de périmètre
• Corrélation logs
• Graph DB (neo4j)
Johan THOMAS - @jothoma1 24

25. Conclusion
• Adhésion des utilisateurs : création de valeur ajoutée avec
leurs logs…
• Graylog indispensable dans notre « outillage »
• Visibilité à tous les niveaux
• Une vrai conformité dans la politique de logs
• Assistance proactive / réactivité accrue
• Corrélation de logs
• Nouveaux usages
Johan THOMAS - @jothoma1 25

26. Merci !
johan.thomas@univ-rennes1.fr
@jothoma1
Plus d’info : https://www.graylog.org
Johan THOMAS - @jothoma1 26