Wie man Python-Logs mit Fluent Bit an OpenSearch sendet

Effektives Log-Management ist entscheidend für die Überwachung und Wartung von Anwendungen in der heutigen datengetriebenen Welt. OpenSearch, eine Open-Source-Such- und Analyse-Engine, bietet robuste Funktionen zur Log-Aggregation und -Analyse. In Kombination mit Fluent Bit, einem leichtgewichtigen Log-Forwarder, können wir Python-Logs effizient an OpenSearch senden, um eine Echtzeitüberwachung und -analyse zu ermöglichen. Diese Anleitung führt Sie durch die Einrichtung dieser leistungsstarken Kombination.

Anwendungsfall

Dieses Setup ist nützlich für Entwickler und Systemadministratoren, die Python-Anwendungen in Echtzeit überwachen müssen. Durch das Senden von Logs aus Python-Anwendungen an OpenSearch können Sie Logs analysieren, Dashboards erstellen, Alarme setzen und wertvolle Einblicke in die Leistung und das Verhalten Ihrer Anwendung gewinnen. Dieser Ansatz ist skalierbar und eignet sich sowohl für kleine Projekte als auch für groß angelegte Produktionsumgebungen.

Voraussetzungen

Stellen Sie vor Beginn sicher, dass Sie die folgenden Voraussetzungen erfüllen:

• Python installiert: Stellen Sie sicher, dass Python auf Ihrem Server oder lokalen Rechner installiert ist.
• OpenSearch-Cluster: Sie sollten Zugriff auf ein OpenSearch-Cluster haben. Sie können entweder ein neues Cluster erstellen oder ein bestehendes nutzen.
• Fluent Bit installiert: Fluent Bit sollte auf dem Server oder Rechner installiert sein, auf dem Ihre Python-Anwendung läuft.

Schritt 1 – Python installieren

Aktualisieren Sie zuerst Ihr Repository und installieren Sie Python. Führen Sie die folgenden Befehle aus:

„

 
sudo apt update
sudo apt install python3

Um die Python-Installation zu überprüfen, führen Sie aus:

„

 
python3 --version

Schritt 2 – Python-Logging einrichten

Konfigurieren Sie Ihre Python-Anwendung so, dass Nachrichten in eine Datei geloggt werden. Hier ist ein einfaches Setup:

„

 
import logging

# Logging konfigurieren
logging.basicConfig(
    filename='app.log',
    level=logging.INFO,
    format='%(asctime)s - %(levelname)s - %(message)s'
)

# Beispiel-Log-Nachricht
logging.info('Dies ist eine Test-Log-Nachricht.')

Diese Konfiguration schreibt Log-Nachrichten in app.log mit einem Zeitstempel, Log-Level und Nachrichtenformat.

Schritt 3 – Fluent Bit installieren

Um Fluent Bit zu installieren, verwenden Sie den folgenden Befehl:

„

 
curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

Schritt 4 – Fluent Bit konfigurieren

Erstellen Sie eine Konfigurationsdatei namens fluent-bit.conf, um zu definieren, wie Fluent Bit Logs lesen und an OpenSearch weiterleiten soll. Hier ist eine Beispielkonfiguration:

„

 
[SERVICE]
    Flush         1
    Daemon        Off
    Log_Level     info

[INPUT]
    Name          tail
    Path          /path/to/your/log/file.log
    Tag           python_logs
    Refresh_Interval 5

[OUTPUT]
    Name          opensearch
    Match         python_logs
    Host          your-opensearch-host
    Port          25060
    HTTP_User     your-username
    HTTP_Passwd   your-password
    Index         your-index-name
    tls           On
    Suppress_Type_Name On

• Path: Geben Sie den Pfad zu Ihrer app.log an.
• Host: Ersetzen Sie durch Ihren OpenSearch-Host.
• HTTP_User: Ihr OpenSearch-Benutzername.
• HTTP_Passwd: Ihr OpenSearch-Passwort.
• Index: Der Name des Index, in dem Logs gespeichert werden sollen.

Schritt 5 – Fluent Bit ausführen

Führen Sie Fluent Bit mit der Konfigurationsdatei aus:

„

 
/opt/fluent-bit/bin/fluent-bit -c fluent-bit.conf

Schritt 6 – Logs in OpenSearch überprüfen

Um sicherzustellen, dass Logs korrekt erfasst werden, überprüfen Sie Ihr OpenSearch-Dashboard. Sie sollten die von Fluent Bit weitergeleiteten Logs sehen.

Schritt 7 – Ein Indexmuster in OpenSearch Dashboards erstellen

1. Melden Sie sich mit Ihren Zugangsdaten bei OpenSearch Dashboards an.
2. Erweitern Sie das Menü auf der linken Seite und klicken Sie auf Index Management unter Management.
3. Klicken Sie im Menü „Indexes“ auf Create index.
4. Geben Sie den Indexnamen ein, konfigurieren Sie weitere Einstellungen und klicken Sie auf Create.

Fazit

Durch Befolgen dieser Schritte haben Sie ein System eingerichtet, um Python-Logs mit Fluent Bit an OpenSearch zu senden. Dieses Setup ermöglicht Ihnen ein effizientes Management und die Analyse von Logs, was zur effektiven Überwachung und Wartung Ihrer Anwendungen beiträgt. Mit OpenSearch und Fluent Bit haben Sie eine leistungsstarke Lösung für die Echtzeit-Log-Analyse und -Überwachung, die auf die Anforderungen jeder Python-basierten Anwendung zugeschnitten ist.