Voici un tutoriel pour un serveur de log avec la Pile ELK

  • Source : Rédigé par mes soins 🙂
  • Langue : Français
  • Etat : Terminé

1 – Les choix

a – Choix installation

Voici les différents choix possibles pour l’installation du stack ELK.

On a le choix d’utiliser :

b – Choix installation des hôtes

Les choix sont les suivants :

  • Par rsyslog : Plus léger mais beaucoup plus de configuration et mal automatisé
  • Par beat : Logiciel léger compatible a 100% avec la pile ELK

Concernant l’ingestion des logs choisi il y a deux choix :

  • Par eleasticsearch possible depuis les nouvelles versions
  • Par logstash :

Plus d’info ici : https://www.elastic.co/fr/blog/should-i-use-logstash-or-elasticsearch-ingest-nodes

2 – Tuto d’installation

a – Installation Docker

Voici le repo : https://www.docker.elastic.co/

Etape 1 : Installation de docker

Installation par repository

https://docs.docker.com/install/linux/docker-ce/ubuntu/

Etape 3 : Désactivation de l’apt de docker-ce

(Afin d’éviter des mises a jour non voulu)

Shell

 Etape 4 : Création d’un dossier pour docker

mkdir DockerData

Etape 5 : Installation de docker-compose : Docker-compose up

https://docs.docker.com/compose/install/#install-compose

Etape 6 : Ajout des colorations syntaxique

nano /usr/share/nano/yaml.nanorc

Tuto : https://github.com/serialhex/nano-highlight/blob/master/yaml.nanorc

b – Installation de la pile ELK

A lire en premier : https://www.elastic.co/guide/en/elastic-stack-get-started/6.6/get-started-elastic-stack.html

Etape 1 : Récupération des sources

Shell

Etape 2 : Ecrémage des sources

  • Suppression du dossier docker-stack -> Inutile car utilisation pour Kubernetes
  • Suppression du fichier LICENCE

Etape 3 : Construction du dépôt

Voici des informations sur comment fonctionne la construction du docker

Les dockerfile :

Le elasticsearch va récupérer le docker sur : docker.elastic.co/elasticsearch/elasticsearch-oss

Les ports suivant sont ouverts :

  • 5000: Logstash TCP input
  • 9200: Elasticsearch HTTP
  • 9300: Elasticsearch TCP transport
  • 5601: Kibana

Etape 4 : Lancer le docker

sudo docker-compose up -d

Configuration

– Il faut tout d’abord que l’hote remonte la configuration une première fois ( Voir ajout de nouvelle hote )

2 – Ensuite dans Management -> Index Patterns

b – 1 : Les dashboard

Voici un petit plan récapitulatif sur la configuration et création des Dashboard

Les dashboards sont sauvegardé dans les data de elasticsearch ( Voir les montages dans le docker ) 

b -2 : Le « Visualize »

On peut créer différents tableau/widget par besoin

  • Un qui ne rapporte que les erreurs tomcat
  • Un qui rapporte tous les logs tomcat

b – 3 : Le discover

Le discover doit afficher les logs de façon brut c’est les informations du logstash

b – Installation d’un hote

Etape 2 : Installation Filebeat

Télécharger le fichier

https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.6.2-amd64.deb

Installer le fichier :

sudo dpkg -i filebeat-5.6.4.amd64.deb

Etape 3 : Configuration de filebeat.yml

Modification du fichier : /etc/filebeat/filebeat.yml

Plus d’information ici :  https://www.vpnwall.xyz/logstash-kibana-centraliser-logs/

Test