Scrapling Fetch MCP

MCP 服务器可帮助 AI 助手访问实施机器人检测的网站的文本内容，从而弥合您在浏览器中看到的内容与 AI 可以访问的内容之间的差距。

预期用途

此工具已针对从已实施机器人检测的网站检索少量文档和参考资料（仅限文本/HTML）进行了优化。它尚未针对通用网站抓取或数据收集进行设计或测试。

注意：该项目是与 Claude Sonnet 3.7 合作开发的，使用LLM Context 。

Related MCP server: browser-use MCP Server

安装

1. 要求：

   • Python 3.10+

   • uv包管理器

2. 安装依赖项和工具：

与 Claude 一起设置

将此配置添加到您的 Claude 客户端的 MCP 服务器配置中：

可用工具

该软件包提供了两种不同的工具：

1. s-fetch-page ：检索支持分页的完整网页

2. s-fetch-pattern ：提取与周围上下文匹配的正则表达式模式的内容

示例用法

获取完整页面

使用模式匹配提取特定内容

功能选项

• 保护级别：

  • basic ：快速检索（1-2 秒），但对于保护严密的站点，成功率较低

  • stealth ：平衡保护（3-8 秒），适用于大多数网站

  • max-stealth ：针对严密保护的站点提供最大程度的保护（10 秒以上）

• 内容定位选项：

  • s-fetch-page ：检索具有分页支持的整个页面（使用start_index和max_length ）

  • s-fetch-pattern ：使用正则表达式提取特定内容（使用search_pattern和context_chars ）

    • 结果包括使用s-fetch-page进行后续查询的位置信息

获得最佳效果的技巧

• 从basic模式开始，仅在需要时升级到更高的保护级别

• 对于大型文档，请使用s-fetch-page的分页参数

• 在大页面上查找特定信息时使用s-fetch-pattern

• 人工智能将根据站点的保护级别自动调整其方法

限制

• 仅为文本内容设计：专门用于文档、文章和参考资料

• 不适用于大容量抓取或数据收集

• 可能无法与需要身份验证的网站一起使用

• 性能因站点复杂程度而异

执照

阿帕奇 2