Doc Scraper MCP 服务器
提供文档抓取功能的模型上下文协议 (MCP) 服务器。该服务器使用 jina.ai 的转换服务将基于 Web 的文档转换为 Markdown 格式。
特征
- 从任何网址抓取文档
- 将 HTML 文档转换为 markdown 格式
- 将转换后的文档保存到指定的输出路径
- 与模型上下文协议 (MCP) 集成
安装
通过 Smithery 安装
要通过Smithery自动安装适用于 Claude Desktop 的 Doc Scraper:
npx -y @smithery/cli install @askjohngeorge/mcp-doc-scraper --client claude
- 克隆存储库:
git clone https://github.com/askjohngeorge/mcp-doc-scraper.git
cd mcp-doc-scraper
- 创建并激活虚拟环境:
python -m venv venv
source venv/bin/activate # On Windows, use: venv\Scripts\activate
- 安装依赖项:
用法
可以使用 Python 运行服务器:
python -m mcp_doc_scraper
工具描述
服务器提供一个单一工具:
- 名称:
scrape_docs
- 描述:从 URL 抓取文档并保存为 markdown
- 输入参数:
url
:要抓取的文档的 URLoutput_path
:markdown 文件的保存路径
项目结构
doc_scraper/
├── __init__.py
├── __main__.py
└── server.py
依赖项
发展
设置开发环境:
- 安装开发依赖项:
pip install -r requirements.txt
- 服务器使用模型上下文协议 (MCP)。请务必熟悉MCP 文档。
执照
MIT 许可证