Unstrukturierter API-MCP-Server

Eine MCP-Serverimplementierung für die Interaktion mit der unstrukturierten API. Dieser Server bietet Tools zum Auflisten von Quellen und Workflows.

Verfügbare Tools

Nachfolgend finden Sie eine Liste der Konnektoren, die der UNS-MCP -Server aktuell unterstützt. Die vollständige Liste der von der Unstructured-Plattform unterstützten Quellkonnektoren finden Sie hier und die Zielkonnektoren hier . Wir planen, weitere hinzuzufügen!

Um das Tool zum Erstellen/Aktualisieren/Löschen eines Connectors verwenden zu können, müssen die Anmeldeinformationen für diesen Connector in Ihrer .env-Datei definiert sein. Nachfolgend finden Sie die credentials für die von uns unterstützten Connectors:

Firecrawl-Quelle

Firecrawl ist eine Web-Crawling-API, die in unserem MCP zwei Hauptfunktionen bietet:

1. Abrufen von HTML-Inhalten : Verwenden Sie invoke_firecrawl_crawlhtml , um Crawl-Jobs zu starten, und check_crawlhtml_status um sie zu überwachen

2. LLM-optimierte Textgenerierung : Verwenden von invoke_firecrawl_llmtxt zum Generieren von Text und check_llmtxt_status zum Abrufen von Ergebnissen

So funktioniert Firecrawl:

Web-Crawling-Prozess:

• Beginnt mit einer angegebenen URL und analysiert diese, um Links zu identifizieren

• Verwendet die Sitemap, sofern verfügbar; folgt andernfalls den auf der Website gefundenen Links.

• Durchläuft rekursiv jeden Link, um alle Unterseiten zu entdecken

• Sammelt Inhalte von jeder besuchten Seite und kümmert sich um JavaScript-Rendering und Ratenbegrenzungen

• Jobs können bei Bedarf mit cancel_crawlhtml_job abgebrochen werden

• Verwenden Sie dies, wenn Sie alle Informationen in reines HTML extrahieren möchten. Der Workflow von Unstructured bereinigt das wirklich gut :smile:

LLM-Textgenerierung:

• Extrahiert nach dem Crawlen sauberen, aussagekräftigen Textinhalt aus den gecrawlten Seiten

• Generiert optimierte Textformate, die speziell für große Sprachmodelle formatiert sind

• Die Ergebnisse werden automatisch an den angegebenen S3-Speicherort hochgeladen.

• Hinweis: LLM-Textgenerierungsaufträge können nach dem Start nicht mehr abgebrochen werden. Die Funktion cancel_llmtxt_job dient der Konsistenz, wird aber derzeit nicht von der Firecrawl-API unterstützt.

Hinweis: Um diese Funktionen zu verwenden, muss eine Umgebungsvariable FIRECRAWL_API_KEY festgelegt werden.

Installation und Konfiguration

Dieses Handbuch enthält schrittweise Anweisungen zum Einrichten und Konfigurieren des UNS_MCP-Servers mit Python 3.12 und dem uv Tool.

Voraussetzungen

• Python 3.12+

• uv für Umweltmanagement

• Ein API-Schlüssel von Unstructured. Sie können sich hier anmelden und Ihren API-Schlüssel erhalten.

Verwendung von uv (empfohlen)

Bei Verwendung von uvx ist keine zusätzliche Installation erforderlich, da uvx die Ausführung übernimmt. Wenn Sie das Paket jedoch lieber direkt installieren möchten:

Claude Desktop konfigurieren

Fügen Sie zur Integration mit Claude Desktop den folgenden Inhalt zu Ihrer claude_desktop_config.json hinzu:

Hinweis: Die Datei befindet sich im Verzeichnis ~/Library/Application Support/Claude/ .

Verwenden

Alternativ können Sie das Python-Paket verwenden:

Verwenden von Quellcode

1. Klonen Sie das Repository.

2. Installieren Sie Abhängigkeiten:

   uv sync

3. Legen Sie Ihren unstrukturierten API-Schlüssel als Umgebungsvariable fest. Erstellen Sie im Stammverzeichnis eine .env-Datei mit folgendem Inhalt:

   UNSTRUCTURED_API_KEY="YOUR_KEY"

   Die konfigurierbaren Umgebungsvariablen finden Sie unter .env.template .

Sie können den Server jetzt mit einer der folgenden Methoden ausführen:

Aktualisieren Sie Ihre Claude Desktop-Konfiguration:

Hinweis : Denken Sie daran, auf die ausführbare Datei uvx in der Umgebung zu verweisen, in der Sie das Paket installiert haben

Hinweis: Wird von Claude Desktop nicht unterstützt.

Beim SSE-Protokoll können Sie das Debuggen einfacher durchführen, indem Sie Client und Server entkoppeln:

1. Starten Sie den Server in einem Terminal:

   uv run python uns_mcp/server.py --host 127.0.0.1 --port 8080 # or make sse-server

2. Testen Sie den Server mit einem lokalen Client in einem anderen Terminal:

   uv run python minimal_client/client.py "http://127.0.0.1:8080/sse" # or make sse-client

Hinweis: Um die Dienste zu stoppen, verwenden Sie zuerst Ctrl+C auf dem Client und dann auf dem Server.

Konfigurieren Sie Claude Desktop für die Verwendung von stdio:

Alternativ können Sie den lokalen Client ausführen:

Zusätzliche lokale Clientkonfiguration

Konfigurieren Sie den Minimal-Client mithilfe von Umgebungsvariablen:

• LOG_LEVEL="ERROR" : Wird so eingestellt, dass Debug-Ausgaben vom LLM unterdrückt werden und den Benutzern klare Meldungen angezeigt werden.

• CONFIRM_TOOL_USE='false' : Deaktiviert die Bestätigung der Tool-Nutzung vor der Ausführung. Verwenden Sie diese Option mit Vorsicht , insbesondere während der Entwicklung, da LLM möglicherweise aufwändige Workflows ausführt oder Daten löscht.

Debugging-Tools

Anthropic bietet das Tool MCP Inspector zum Debuggen/Testen Ihres MCP-Servers. Führen Sie den folgenden Befehl aus, um eine Debug-Oberfläche zu öffnen. Von dort aus können Sie im linken Bereich Umgebungsvariablen hinzufügen (die auf Ihre lokale Umgebung verweisen). Fügen Sie dort Ihren persönlichen API-Schlüssel als Umgebungsvariable ein. Unter tools können Sie die Funktionen testen, die Sie dem MCP-Server hinzufügen.

Wenn Sie Anforderungsaufrufparameter für UnstructuredClient protokollieren müssen, setzen Sie die Umgebungsvariable DEBUG_API_REQUESTS=false . Die Protokolle werden in einer Datei im Format unstructured-client-{date}.log gespeichert, die zum Debuggen von Anforderungsaufrufparametern für UnstructuredClient -Funktionen untersucht werden kann.

Terminalzugriff zum Minimal-Client hinzufügen

Wir verwenden @wonderwhy-er/desktop-commander , um dem Minimal-Client Terminalzugriff hinzuzufügen. Er basiert auf dem MCP-Dateisystemserver. Vorsicht: Der Client (auch LLM) hat nun Zugriff auf private Dateien.

Führen Sie den folgenden Befehl aus, um das Paket zu installieren:

Starten Sie dann den Client mit zusätzlichen Parametern:

Verwenden einer Teilmenge von Tools

Wenn Ihr Client nur die Verwendung einer Teilmenge von Tools unterstützt, sollten Sie Folgendes beachten:

• Das Tool update_workflow muss im Kontext zusammen mit dem Tool create_workflow geladen werden, da es eine detaillierte Beschreibung zum Erstellen und Konfigurieren eines benutzerdefinierten Knotens enthält.

Bekannte Probleme

• update_workflow – muss die Konfiguration des Workflows im Kontext haben, den es aktualisiert, entweder indem es vom Benutzer bereitgestellt wird oder indem das Tool get_workflow_info aufgerufen wird, da dieses Tool nicht als patch Applier funktioniert, sondern die Workflow-Konfiguration vollständig ersetzt.

ÄNDERUNGSPROTOKOLL.md

Alle neu entwickelten Funktionen/Fixes/Erweiterungen werden zu CHANGELOG.md hinzugefügt. Bevor wir zu einer stabilen Version übergehen, wird das Vorabversionsformat 0.xx-dev bevorzugt.

Fehlerbehebung

• Wenn Sie auf Probleme mit Error: spawn <command> ENOENT stoßen, bedeutet dies, dass <command> nicht installiert ist oder in Ihrem PATH nicht sichtbar ist:

  • Stellen Sie sicher, dass Sie es installieren und zu Ihrem PATH hinzufügen.

  • oder geben Sie den absoluten Pfad zum Befehl im command Ihrer Konfiguration an. Ersetzen Sie beispielsweise python durch /opt/miniconda3/bin/python