Installationsanleitung für das Cohere Toolkit unter Ubuntu 24.04

Konfiguration des Cohere Toolkits

Das Cohere Toolkit enthält eine Makefile-Datei, die den Einrichtungsprozess erleichtert, indem sie wesentliche Aufgaben wie Kompilierung, Initialisierung, Tests und Umgebungsanpassungen automatisiert. Befolgen Sie die nachstehenden Schritte, um das Backend und Frontend korrekt zu konfigurieren.

Schritt 1: Zum Toolkit-Verzeichnis wechseln

Stellen Sie sicher, dass Sie sich im richtigen Verzeichnis befinden, bevor Sie Setup-Befehle ausführen:

$ cd ~/cohere-toolkit

Schritt 2: Erste Einrichtung ausführen

Starten Sie die Ersteinrichtung mit folgendem Befehl:

$ sudo make first-run

Falls ein Fehler im Zusammenhang mit psycopg2 auftritt, kann dieser wie folgt aussehen:

make[1]: *** [Makefile:104: setup] Error 1
make[1]: Leaving directory '/home/linuxuser/cohere-toolkit'
make: *** [Makefile:128: first-run] Error 2

Das Problem tritt auf, weil psycopg2 (2.9.10) keine PEP-517-Builds unterstützt. Dies liegt an der Build-Umgebung und nicht an Poetry.

Schritt 3: pyproject.toml aktualisieren

Um das Problem zu beheben, öffnen Sie die pyproject.toml-Datei mit einem Editor:

$ nano pyproject.toml

Finden Sie den folgenden Abschnitt und kommentieren Sie die Zeile für psycopg2 aus, indem Sie ein # davor setzen. Ersetzen Sie es durch psycopg2-binary:

[tool.poetry.dependencies]
python = "~3.11"
#psycopg2 = "^2.9.9"
psycopg2-binary = "^2.9.9"

Ändern Sie den Abschnitt [tool.poetry.group.setup.dependencies] entsprechend:

[tool.poetry.group.setup.dependencies]
python = "~3.11"
#psycopg2 = "^2.9.9"
psycopg2-binary = "^2.9.9"

Speichern Sie die Datei und schließen Sie den Editor.

Schritt 4: Abhängigkeiten fixieren

Um die Änderungen anzuwenden, führen Sie den folgenden Befehl aus:

$ poetry lock

Schritt 5: Setup erneut ausführen

Wiederholen Sie nun die Einrichtung:

$ sudo make first-run

Schritt 6: Konfiguration abschließen

Während der Installation müssen Sie verschiedene Eingaben bestätigen:

• Drücken Sie Enter, um den Standard-Backend-API-Hostnamen beizubehalten:

Enter your public API Hostname or press enter for default [recommended]: http://localhost:8000

• Wählen Sie die Entwicklungsumgebung als Build-Ziel:

Select the build target:
> dev
  prod

• Drücken Sie Enter, um den Python-Interpreter zu deaktivieren (dieser benötigt zusätzliche Konfigurationen).

• Drücken Sie Enter, um die Tavily-Internetsuche zu deaktivieren, es sei denn, Sie haben einen TAVILY_API_KEY.

Enter the value for TAVILY_API_KEY:

• Wählen Sie die Cohere Platform als Modellbereitstellungsoption und drücken Sie Enter, um die Konfiguration zu speichern.

Select the model deployments you want to set up:
> [ ] Azure
  [ ] Bedrock
  [X] Cohere Platform
  [ ] SageMaker

Konfiguration überprüfen

Wenn die Einrichtung erfolgreich war, sollte eine Meldung wie folgt erscheinen:

backend-1    | INFO:     Started server process [9]
backend-1    | INFO:     Waiting for application startup.
backend-1    | INFO:     Application startup complete.

Das Cohere Toolkit läuft nun unter den folgenden Adressen:

• Frontend: http://localhost:4000
• Backend: http://localhost:8000

Netzwerkkonfiguration

Um den Zugriff auf das Cohere Toolkit Backend zu ermöglichen, öffnen Sie den erforderlichen Port:

$ sudo ufw allow 8000/tcp

Falls UFW nicht installiert ist, installieren Sie es und erlauben Sie SSH-Zugriff:

$ sudo apt install ufw -y && sudo ufw allow ssh

Wenden Sie die Firewall-Regeln an:

$ sudo ufw reload

API-Anfragen mit dem Cohere Toolkit senden

Das Cohere Platform-Modell bietet zwei API-Endpunkte für die Kommunikation:

• Nicht-streamende Anfragen: http://localhost:8000/v1/chat
• Streamende Anfragen: http://localhost:8000/v1/chat-stream

Folgen Sie den nachstehenden Schritten, um eine API-Anfrage an das Cohere-Backend zu senden.

Schritt 1: Eine Anfrage senden

Verwenden Sie eine Eingabeaufforderung, eine Anweisung oder eine Frage, um eine Anfrage an den nicht-streamenden Endpunkt zu stellen. Das folgende Beispiel zeigt, wie Sie Informationen abrufen können:

$ curl --location 'http://localhost:8000/v1/chat' \
--header 'User-Id: user-id' \
--header 'Content-Type: application/json' \
--data '{
  "message": "Was ist centron?"
}'

Fazit

Herzlichen Glückwunsch! Sie haben das Cohere Toolkit erfolgreich unter Ubuntu 24.04 installiert und eine API-Anfrage an das Cohere-Backend gesendet. Mit diesem Toolkit können Sie auf die Cohere-Modelle Command, Embed und Rerank zugreifen. Darüber hinaus lässt es sich mit externen Frameworks wie LangChain und LlamaIndex integrieren, um leistungsstarke Anwendungen mit großen Sprachmodellen (LLMs) zu entwickeln.

Für weitere Anpassungen und detaillierte Anleitungen besuchen Sie die offizielle Cohere Toolkit-Dokumentation.