Skip to main content
Glama
deenesjakoruzh

MCP Windows Website Downloader Server

by angrysky56
GitHub
Python
MIT License
5
OverviewInspectNewSchemaRelated ServersReviewsScore
Need Help?View Source CodeReport Issue

MCP Website Downloader

Einfacher MCP-Server zum Herunterladen von Dokumentationswebsites und Vorbereiten für die RAG-Indizierung.

Merkmale

  • Lädt komplette Dokumentationsseiten herunter, zumindest große Teile.
  • Behält die Linkstruktur und Navigation bei, nicht wirklich. lol
  • Lädt Assets (CSS, JS, Bilder) herunter und organisiert sie, ist aber nicht wirklich KI-freundlich und es muss wahrscheinlich alles irgendwie analysiert oder in eine Datenbank oder so etwas vektorisiert werden.
  • Erstellt einen sauberen Index für RAG-Systeme. Derzeit scheint in jedem Ordner ein Index erstellt zu werden, ohne dass er noch einmal angeschaut wurde.
  • Einfache, zweckgebundene MCP-Schnittstelle, ja.

Installation

Forken und herunterladen, mit CD zum Repository wechseln.

uv venv ./venv/Scripts/activate pip install -e .

Fügen Sie dies mit Ihren eigenen Pfaden in Ihre claude_desktop_config.json ein:

"mcp-windows-website-downloader": { "command": "uv", "args": [ "--directory", "F:/GithubRepos/mcp-windows-website-downloader", "run", "mcp-windows-website-downloader", "--library", "F:/GithubRepos/mcp-windows-website-downloader/website_library" ] },

Alternativtext

Andere Verwendungen, über die Sie sich keine Sorgen machen müssen und die halluzinogene Wirkungen haben können, lol:

  1. Starten Sie den Server:
python -m mcp_windows_website_downloader.server --library docs_library
  1. Verwendung über Claude Desktop oder andere MCP-Clients:
result = await server.call_tool("download", { "url": "https://docs.example.com" })

Ausgabestruktur

docs_library/ domain_name/ index.html about.html docs/ getting-started.html ... assets/ css/ js/ images/ fonts/ rag_index.json

Entwicklung

Der Server folgt der Standard-MCP-Architektur:

src/ mcp_windows_website_downloader/ __init__.py server.py # MCP server implementation core.py # Core downloader functionality utils.py # Helper utilities

Komponenten

  • server.py : Hauptimplementierung des MCP-Servers, die die Tool-Registrierung und -Anfragen verarbeitet
  • core.py : Kernfunktion zum Herunterladen von Websites mit ordnungsgemäßer Asset-Verarbeitung
  • utils.py : Hilfsprogramme für die Dateiverwaltung und URL-Verarbeitung

Designprinzipien

  1. Einzelverantwortung
    • Jedes Modul hat einen klaren Zweck
    • Server verarbeitet MCP-Schnittstelle
    • Der Kern übernimmt das Herunterladen
    • Utils übernimmt allgemeine Operationen
  2. Saubere Struktur
    • Behält die ursprüngliche Site-Struktur bei
    • Organisiert Vermögenswerte nach Typ
    • Schafft einen übersichtlichen Index für RAG-Systeme
  3. Robuster Betrieb
    • Richtige Fehlerbehandlung
    • Angemessene Tiefengrenzen
    • Überprüfung des Asset-Downloads
    • Saubere URL-/Pfadverarbeitung

RAG-Index

Die Datei rag_index.json enthält:

{ "url": "https://docs.example.com", "domain": "docs.example.com", "pages": 42, "path": "/path/to/site" }

Beitragen

  1. Forken Sie das Repository
  2. Erstellen eines Feature-Zweigs
  3. Nehmen Sie Ihre Änderungen vor
  4. Senden einer Pull-Anfrage

Lizenz

MIT-Lizenz – Siehe LICENSE-Datei

Fehlerbehandlung

Der Server behandelt allgemeine Probleme:

  • Ungültige URLs
  • Netzwerkfehler
  • Fehler beim Herunterladen von Assets
  • Fehlerhaftes HTML
  • Tiefe Rekursion
  • Dateisystemfehler

Fehlerantworten folgen dem Format:

{ "status": "error", "error": "Detailed error message" }

Erfolgsantworten:

{ "status": "success", "path": "/path/to/downloaded/site", "pages": 42 }
Install Server
A
security – no known vulnerabilities
A
license - permissive license
A
quality - confirmed to work

How are these scores calculated?

local-only server

The server can only run on the client's local machine because it depends on local resources.

Tools

Dieser Server ermöglicht Benutzern das Herunterladen ganzer Websites und ihrer Assets für den Offline-Zugriff und unterstützt konfigurierbare Tiefen- und Parallelitätseinstellungen.

  1. Merkmale
    1. Installation
      1. Andere Verwendungen, über die Sie sich keine Sorgen machen müssen und die halluzinogene Wirkungen haben können, lol:
        1. Ausgabestruktur
          1. Entwicklung
            1. Komponenten
            2. Designprinzipien
            3. RAG-Index
          2. Beitragen
            1. Lizenz
              1. Fehlerbehandlung

                Related Resources

                Related MCP Servers

                • Fetch MCP Serverofficial

                  modelcontextprotocol
                  A
                  security
                  A
                  license
                  A
                  quality
                  This server enables LLMs to retrieve and process content from web pages, converting HTML to markdown for easier consumption.
                  Last updated -
                  1
                  62,980
                  TypeScript
                  MIT License
                  • Linux
                  • Apple

                • Website Downloader

                  pskill9
                  A
                  security
                  F
                  license
                  A
                  quality
                  Provides a tool to download entire websites using wget. It preserves the website structure and converts links to work locally.
                  Last updated -
                  1
                  123
                  JavaScript
                  • Apple
                  • Linux

                • MCP Web Browser Server

                  random-robbie
                  A
                  security
                  A
                  license
                  A
                  quality
                  An advanced web browsing server enabling headless browser interactions via a secure API, providing features like navigation, content extraction, element interaction, and screenshot capture.
                  Last updated -
                  6
                  20
                  Python
                  MIT License

                • MCP File System Server

                  kvas-it
                  -
                  security
                  F
                  license
                  -
                  quality
                  This server provides an interface for performing basic file system operations such as navigation, reading, writing, and file analysis, allowing users to manage directories and files efficiently.
                  Last updated -
                  4
                  Python

                View all related MCP servers

                Appeared in Searches

                New MCP Servers

                MCP directory API

                We provide all the information about MCP servers via our MCP API.

                curl -X GET 'https://glama.ai/api/mcp/v1/servers/angrysky56/mcp-windows-website-downloader'

                If you have feedback or need assistance with the MCP directory API, please join our Discord server