Verwaltung von Systemprotokollen mit Fluent Bit und OpenSearch
Die Verwaltung von Systemprotokollen ist entscheidend für die Aufrechterhaltung der Leistung, die Fehlerbehebung und das Verständnis des Systemverhaltens. Systemprotokolle, die typischerweise in /var/log gespeichert sind, liefern wertvolle Einblicke in den Betrieb Ihres Servers. Dieses Tutorial führt Sie durch die Installation von Fluent Bit auf einer ccloud³ VM, die Konfiguration zur Erfassung von Systemprotokollen aus /var/log und das Senden dieser Protokolle an OpenSearch für eine umfassende Analyse.
Voraussetzungen
Bevor Sie beginnen, stellen Sie sicher, dass Sie Folgendes haben:
- Eine ccloud³ VM.
- Einen OpenSearch-Cluster.
Schritt 1 – Installation von Fluent Bit
Fluent Bit ist ein Open-Source- und leichtgewichtiger Log-Prozessor und Forwarder. Es wurde entwickelt, um Daten und Protokolle aus verschiedenen Quellen zu erfassen, zu verarbeiten oder zu transformieren und dann an verschiedene Ziele weiterzuleiten.
Fluent Bit kann auf mehreren Plattformen installiert werden. Um es auf Ubuntu/Debian/RedHat/CentOS zu installieren, führen Sie den folgenden Befehl in Ihrem ccloud³-Terminal aus:
curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh
Weitere Informationen zur Installation von Fluent Bit finden Sie in der Fluent Bit Dokumentation.
Schritt 2 – Konfiguration von Fluent Bit zur Weiterleitung von Protokollen an OpenSearch
Standardmäßig befinden sich die Konfigurationsdateien von Fluent Bit im Verzeichnis /etc/fluent-bit/. Um Protokolle an OpenSearch weiterzuleiten, müssen Sie die Datei fluent-bit.conf bearbeiten.
Fluent Bit Eingaben
Fluent Bit bietet eine Vielzahl von Eingabe-Plugins, die es ermöglichen, Protokoll- und Ereignisdaten aus verschiedenen Quellen zu erfassen. Da wir Protokolle aus Log-Dateien senden, werden wir das Tail-Input-Plugin verwenden.
Aktualisieren Sie die Datei fluent-bit.conf wie folgt:
[INPUT]
name tail
Path /var/log/auth.log,/var/log/syslog,/var/log/journal/*.log
Passen Sie den Path entsprechend dem gewünschten Protokollpfad an. Weitere Informationen zu Eingabe-Plugins finden Sie in der Fluent Bit Input Plugins Dokumentation.
Fluent Bit Ausgaben
Ähnlich wie Eingabe-Plugins bietet Fluent Bit auch ein Ausgabe-Plugin, das gesammelte und verarbeitete Protokolle an verschiedene Ziele sendet. Da wir Protokolle an OpenSearch senden, verwenden wir das OpenSearch Output Plugin.
[OUTPUT]
Name opensearch
Match *
Host
Port 25060
HTTP_User doadmin
HTTP_Passwd
Index ubuntu
tls On
Suppress_Type_Name On
Ersetzen Sie <OpenSearch_Host> mit dem Hostnamen Ihres OpenSearch-Servers und <OpenSearch_Password> mit Ihrem OpenSearch-Passwort.
Starten des Fluent Bit Dienstes
Sobald die Konfigurationen festgelegt sind, starten Sie den Fluent Bit Dienst, indem Sie die folgenden Befehle ausführen:
systemctl enable fluent-bit.service
systemctl start fluent-bit.service
systemctl status fluent-bit.service
Fehlersuche
Überprüfung der Konnektivität
Sie können überprüfen, ob Logstash eine Verbindung zu OpenSearch herstellen kann, indem Sie die Konnektivität testen:
curl -u your_username:your_password -X GET "https://your-opensearch-server:25060/_cat/indices?v"
Ersetzen Sie in diesem Befehl your-OpenSearch-server mit dem Hostnamen Ihres OpenSearch-Servers, your_username und your_password mit Ihren OpenSearch-Anmeldeinformationen.
Datenaufnahme
Stellen Sie sicher, dass die Daten in OpenSearch korrekt indexiert werden:
curl -u your_username:your_password -X GET "http://your-opensearch-server:25060/<your-index-name>/_search?pretty"
Ersetzen Sie your-OpenSearch-server mit dem Hostnamen Ihres OpenSearch-Servers, your_username und your_password mit Ihren OpenSearch-Anmeldeinformationen sowie your-index-name mit dem Namen des Index.
Firewall- und Netzwerkkonfiguration
Stellen Sie sicher, dass die Firewall-Regeln und Netzwerkeinstellungen den Datenverkehr zwischen Logstash und OpenSearch auf dem entsprechenden Port zulassen.
Überprüfung der Fluent Bit Protokolle
Standardmäßig werden Protokolle im Systemprotokoll gespeichert.
sudo journalctl -u fluent-bit
Konfiguration validieren
Stellen Sie sicher, dass die Konfigurationsdateien syntaktisch korrekt sind.
/opt/fluent-bit/bin/fluent-bit -c /etc/fluent-bit/fluent-bit.conf --dry-run
Fazit
In diesem Tutorial haben wir die wesentlichen Schritte zur Einrichtung von Fluent Bit für die Verwaltung von Systemprotokollen behandelt, einschließlich Installation, Konfiguration und Weiterleitung von Protokollen an Managed OpenSearch.
Zusammenfassung der durchgeführten Schritte:
- Installation: Wir haben Fluent Bit auf einer ccloud³ VM mithilfe eines einfachen Curl-Befehls installiert.
- Konfiguration: Wir haben Fluent Bit so konfiguriert, dass es Systemprotokolle aus
/var/logmit dem Tail-Input-Plugin erfasst und diese mit dem OpenSearch-Output-Plugin an OpenSearch sendet. - Dienstverwaltung: Wir haben den Fluent Bit Dienst aktiviert und gestartet, um eine kontinuierliche Protokollerfassung und -weiterleitung sicherzustellen.
- Fehlersuche: Wir haben häufige Fehlerbehebungsmethoden behandelt, einschließlich der Überprüfung der Konnektivität, der Kontrolle der Datenaufnahme und der Analyse der Fluent Bit Protokolle.
Nach Abschluss dieser Schritte wird Fluent Bit Ihre Systemprotokolle effizient erfassen und an OpenSearch weiterleiten, sodass Sie leistungsstarke Such- und Analysetools nutzen können, um Einblicke in die Leistung und das Verhalten Ihres Servers zu gewinnen.
