Una poderosa implementación del Protocolo de Contexto de Modelo (MCP) integrado con Crawl4AI y Supabase para proporcionar a los agentes de IA y asistentes de codificación de IA capacidades avanzadas de rastreo web y RAG.
Con este servidor MCP, puedes extraer cualquier cosa y luego usar ese conocimiento en cualquier lugar para RAG.
El objetivo principal es integrar este servidor MCP en Archon a medida que lo desarrollo para que sea un motor de conocimiento para que los asistentes de programación de IA creen agentes de IA. Esta primera versión del servidor MCP de Crawl4AI/RAG se mejorará considerablemente próximamente, especialmente para que sea más configurable y permita usar diferentes modelos de incrustación y ejecutar todo localmente con Ollama.
Descripción general
Este servidor MCP proporciona herramientas que permiten a los agentes de IA rastrear sitios web, almacenar contenido en una base de datos vectorial (Supabase) y ejecutar RAG sobre el contenido rastreado. Sigue las mejores prácticas para crear servidores MCP, basándose en la plantilla de servidor MCP Mem0 que compartí anteriormente en mi canal.
Visión
El servidor Crawl4AI RAG MCP es solo el comienzo. Aquí es donde nos dirigimos:
- Integración con Archon : incorporar este sistema directamente en Archon para crear un motor de conocimiento integral para que los asistentes de codificación de IA creen mejores agentes de IA.
- Múltiples modelos de integración : expansión más allá de OpenAI para admitir una variedad de modelos de integración, incluida la capacidad de ejecutar todo localmente con Ollama para un control y privacidad completos.
- Estrategias RAG avanzadas : implementación de técnicas de recuperación sofisticadas como recuperación contextual, fragmentación tardía y otras para ir más allá de las "búsquedas ingenuas" básicas y mejorar significativamente la potencia y la precisión del sistema RAG, especialmente a medida que se integra con Archon.
- Estrategia de fragmentación mejorada : implementación de un enfoque de fragmentación inspirado en Context 7 que se centra en ejemplos y crea secciones distintas y semánticamente significativas para cada fragmento, lo que mejora la precisión de la recuperación.
- Optimización del rendimiento : aumentar la velocidad de rastreo e indexación para que sea más realista indexar "rápidamente" nueva documentación para luego aprovecharla dentro del mismo mensaje en un asistente de codificación de IA.
Características
- Detección inteligente de URL : detecta y gestiona automáticamente distintos tipos de URL (páginas web normales, mapas de sitios, archivos de texto)
- Rastreo recursivo : sigue enlaces internos para descubrir contenido
- Procesamiento paralelo : rastrea eficientemente varias páginas simultáneamente
- Fragmentación de contenido : divide de forma inteligente el contenido por encabezados y tamaño para un mejor procesamiento
- Búsqueda vectorial : realiza RAG sobre el contenido rastreado y filtra opcionalmente por fuente de datos para mayor precisión
- Recuperación de fuentes : recupera fuentes disponibles para filtrar y guiar el proceso RAG
Herramientas
El servidor proporciona cuatro herramientas esenciales de búsqueda y rastreo web:
crawl_single_page : Rastrea rápidamente una sola página web y almacena su contenido en la base de datos vectorialsmart_crawl_url : rastrea de forma inteligente un sitio web completo según el tipo de URL proporcionada (mapa del sitio, llms-full.txt o una página web normal que necesita rastrearse de forma recursiva)get_available_sources : obtiene una lista de todas las fuentes (dominios) disponibles en la base de datosperform_rag_query : busca contenido relevante mediante búsqueda semántica con filtrado de fuente opcional
Prerrequisitos
Instalación
Uso de Docker (recomendado)
- Clonar este repositorio:
git clone https://github.com/coleam00/mcp-crawl4ai-rag.git
cd mcp-crawl4ai-rag
- Construya la imagen de Docker:
docker build -t mcp/crawl4ai-rag --build-arg PORT=8051 .
- Cree un archivo
.env basado en la sección de configuración a continuación
Usando uv directamente (sin Docker)
- Clonar este repositorio:
git clone https://github.com/coleam00/mcp-crawl4ai-rag.git
cd mcp-crawl4ai-rag
- Instalar uv si no lo tienes:
- Crear y activar un entorno virtual:
uv venv
.venv\Scripts\activate
# on Mac/Linux: source .venv/bin/activate
- Instalar dependencias:
uv pip install -e .
crawl4ai-setup
- Cree un archivo
.env basado en la sección de configuración a continuación
Configuración de la base de datos
Antes de ejecutar el servidor, debe configurar la base de datos con la extensión pgvector:
- Vaya al Editor SQL en su panel de Supabase (primero cree un nuevo proyecto si es necesario)
- Cree una nueva consulta y pegue el contenido de
crawled_pages.sql - Ejecute la consulta para crear las tablas y funciones necesarias
Configuración
Cree un archivo .env en la raíz del proyecto con las siguientes variables:
# MCP Server Configuration
HOST=0.0.0.0
PORT=8051
TRANSPORT=sse
# OpenAI API Configuration
OPENAI_API_KEY=your_openai_api_key
# Supabase Configuration
SUPABASE_URL=your_supabase_project_url
SUPABASE_SERVICE_KEY=your_supabase_service_key
Ejecución del servidor
Usando Docker
docker run --env-file .env -p 8051:8051 mcp/crawl4ai-rag
Usando Python
uv run src/crawl4ai_mcp.py
El servidor se iniciará y escuchará en el host y puerto configurados.
Integración con clientes MCP
Configuración de SSE
Una vez que tenga el servidor funcionando con el transporte SSE, puede conectarse a él utilizando esta configuración:
{
"mcpServers": {
"crawl4ai-rag": {
"transport": "sse",
"url": "http://localhost:8051/sse"
}
}
}
Nota para los usuarios de Windsurf : utilice serverUrl en lugar de url en su configuración:
{
"mcpServers": {
"crawl4ai-rag": {
"transport": "sse",
"serverUrl": "http://localhost:8051/sse"
}
}
}
Nota para usuarios de Docker : Usen host.docker.internal en lugar de localhost si su cliente se ejecuta en un contenedor diferente. Esto aplica si usan este servidor MCP dentro de n8n.
Configuración de Stdio
Agregue este servidor a su configuración de MCP para Claude Desktop, Windsurf o cualquier otro cliente de MCP:
{
"mcpServers": {
"crawl4ai-rag": {
"command": "python",
"args": ["path/to/crawl4ai-mcp/src/crawl4ai_mcp.py"],
"env": {
"TRANSPORT": "stdio",
"OPENAI_API_KEY": "your_openai_api_key",
"SUPABASE_URL": "your_supabase_url",
"SUPABASE_SERVICE_KEY": "your_supabase_service_key"
}
}
}
}
Docker con configuración de Stdio
{
"mcpServers": {
"crawl4ai-rag": {
"command": "docker",
"args": ["run", "--rm", "-i",
"-e", "TRANSPORT",
"-e", "OPENAI_API_KEY",
"-e", "SUPABASE_URL",
"-e", "SUPABASE_SERVICE_KEY",
"mcp/crawl4ai"],
"env": {
"TRANSPORT": "stdio",
"OPENAI_API_KEY": "your_openai_api_key",
"SUPABASE_URL": "your_supabase_url",
"SUPABASE_SERVICE_KEY": "your_supabase_service_key"
}
}
}
}
Construyendo su propio servidor
Esta implementación proporciona una base para construir servidores MCP más complejos con capacidades de rastreo web. Para construir el suyo propio:
- Agregue sus propias herramientas creando métodos con el decorador
@mcp.tool() - Crea tu propia función de vida útil para agregar tus propias dependencias
- Modifique el archivo
utils.py para cualquier función auxiliar que necesite - Amplíe las capacidades de rastreo agregando rastreadores más especializados