网页搜索 MCP 服务器

MCP 服务器提供 Google 搜索功能和网页内容浏览功能，并具有高级机器人检测规避功能。

特征

• 具有高级过滤功能的 Google 自定义搜索

• 使用 markdown 转换查看网页内容

• 速率限制和缓存

• 浏览器实例池

• 使用 rebrowser-puppeteer 规避机器人检测

先决条件

• Bun 运行时 v1.0 或更高版本

• Google API 凭证（API 密钥和搜索引擎 ID）

安装

配置

Cookie设置

对于经过身份验证的站点访问，您需要：

1. 安装“本地获取 cookies.txt” Chrome 扩展程序

2. 访问您想要验证的网站并登录

3. 使用扩展程序以 JSON 格式导出您的 Cookie

4. 将导出的 cookies 文件存储在安全的位置

5. 将BROWSER_COOKIES_PATH环境变量设置为 cookies 文件的绝对路径

MCP 服务器配置

将服务器配置添加到您的 MCP 设置文件：

• 对于 Cline： %APPDATA%\Code\User\globalStorage\rooveterinaryinc.roo-cline\settings\cline_mcp_settings.json

• 对于 Claude 桌面：

  • MacOS/Linux： ~/Library/Application Support/Claude/claude_desktop_config.json

  • Windows： %APPDATA%\Claude\claude_desktop_config.json

将/ABSOLUTE/PATH/TO/web_search_mcp替换为服务器目录的绝对路径。

日志配置

以下环境变量控制日志记录行为：

• LOG_LEVEL ：设置日志级别（错误、警告、信息、调试）。默认值：信息

• NO_COLOR ：设置为“1”时禁用彩色输出

• BUN_FORCE_COLOR ：控制 Bun 运行时的彩色输出（设置为“0”以禁用）

• FORCE_COLOR ：全局控制彩色输出（设置为“0”以禁用）

避免机器人检测

该服务器使用 rebrowser-puppeteer 来避免机器人检测：

1. 运行时启用泄漏预防：

   • 使用 addBinding 技术来避免 Runtime.Enable 检测

   • 适用于 Web Worker 和 iframe

   • 保持对主要世界背景的访问

2. 源 URL 屏蔽：

   • 将 Puppeteer 的 sourceURL 更改为看起来像合法脚本

   • 有助于避免被自动化工具检测到

3. 实用世界名称：

   • 使用通用实用程序世界名称

   • 通过世界名称模式防止检测

4. 浏览器启动配置：

   • 禁用自动化标志

   • 使用优化的 Chrome 参数

   • 配置视口和窗口设置

与 Claude Desktop 一起使用

1. 确保已安装 Claude Desktop 并更新至最新版本

2. 打开您的 Claude Desktop 配置文件：

   • MacOS/Linux： ~/Library/Application Support/Claude/claude_desktop_config.json

   • Windows： %APPDATA%\Claude\claude_desktop_config.json

3. 按照上面的配置部分所示添加服务器配置。

4. 重启Claude桌面

5. 寻找锤子图标确认工具可用

可用工具

1. 搜索工具

2.查看URL工具

故障排除

Claude 桌面集成问题

1. 检查日志：

   # MacOS/Linux tail -n 20 -f ~/Library/Logs/Claude/mcp*.log # Windows type %APPDATA%\Claude\Logs\mcp*.log

2. 常见问题：

   • 服务器未显示：检查配置文件语法和路径

   • 工具调用失败：检查服务器日志并重新启动 Claude Desktop

   • 路径问题：确保使用绝对路径

有关更详细的故障排除，请参阅MCP 调试指南。

发展

重要提示

1. 机器人检测：

   • 机器人检测规避功能有助于防止最常见的检测方法

   • 然而，可能需要采取适当的代理和用户代理等额外措施

   • 一些网站可能仍会通过其他方式检测自动化

2. 表现：

   • 浏览器实例被池化并重用

   • 自动清理空闲浏览器

   • 资源限制防止过载

执照

麻省理工学院