🤖 Browser-Automatisierungsagent

Ein leistungsstarkes Browser-Automatisierungstool mit MCP (Model Controlled Program), das Web-Scraping-Funktionen mit LLM-gestützter Intelligenz kombiniert. Dieser Agent kann Google durchsuchen, Webseiten aufrufen und Inhalte von verschiedenen Websites wie GitHub, Stack Overflow und Dokumentationsseiten intelligent extrahieren.

🚀 Funktionen

🔍 Google-Suchintegration : Findet und ruft die besten Suchergebnisse für jede Abfrage ab
🕸️ Intelligentes Web Scraping : Maßgeschneiderte Scraping-Strategien für verschiedene Website-Typen:
- 📂 GitHub-Repositorys
- 💬 Fragen und Antworten zu Stack Overflow
- 📚 Dokumentationsseiten
- 🌐 Generische Websites
🧠 KI-gestützte Verarbeitung : Verwendet Mistral AI zum Verstehen und Verarbeiten von Scraped-Inhalten
🥷 Stealth-Modus : Implementiert den Browser-Fingerabdruckschutz, um eine Erkennung zu vermeiden
💾 Inhaltsspeicherung : Speichert automatisch sowohl Screenshots als auch Textinhalte von Scraped-Seiten

🏗️ Architektur

Dieses Projekt verwendet eine Client-Server-Architektur, die von MCP unterstützt wird:

🖥️ Server : Bewältigt Browserautomatisierung und Web-Scraping-Aufgaben
👤 Client : Stellt die KI-Schnittstelle mit Mistral AI und LangGraph bereit
📡 Kommunikation : Verwendet stdio für die Client-Server-Kommunikation

⚙️ Voraussetzungen

🐍 Python 3.8+
🎭 Dramatiker
🧩 MCP (Modellgesteuertes Programm)
🔑 Mistral AI API-Schlüssel

📥 Installation

Klonen Sie das Repository:

git clone https://github.com/yourusername/browser-automation-agent.git cd browser-automation-agent

Installieren Sie Abhängigkeiten:

pip install -r requirements.txt

Installieren Sie Playwright-Browser:

playwright install

Erstellen Sie eine .env Datei im Projektstammverzeichnis und fügen Sie Ihren Mistral AI-API-Schlüssel hinzu:

MISTRAL_API_KEY=your_api_key_here

📋 Verwendung

Ausführen des Servers

python main.py

Ausführen des Clients

python client.py

Beispielinteraktion

Sobald sowohl der Server als auch der Client ausgeführt werden:

Geben Sie Ihre Abfrage ein, wenn Sie dazu aufgefordert werden
Der Agent wird:
- 🔍 Suchen Sie bei Google nach relevanten Ergebnissen
- 🧭 Navigieren Sie zum Top-Ergebnis
- 📊 Scrapen Sie Inhalte basierend auf dem Website-Typ
- 📸 Screenshots und Inhalte in Dateien speichern
- 📤 Verarbeitete Informationen zurückgeben

🛠️ Werkzeugfunktionen

`get_top_google_url`

🔍 Durchsucht Google und gibt die URL mit dem höchsten Ergebnis für eine bestimmte Abfrage zurück.

`browse_and_scrape`

🌐 Navigiert zu einer URL und kratzt Inhalte basierend auf dem Websitetyp.

`scrape_github`

📂 Spezialisiert auf das Extrahieren von README-Inhalten und Codeblöcken aus GitHub-Repositorys.

`scrape_stackoverflow`

💬 Extrahiert Fragen, Antworten, Kommentare und Codeblöcke von Stack Overflow-Seiten.

`scrape_documentation`

📚 Optimiert für das Extrahieren von Dokumentationsinhalten und Codebeispielen.

`scrape_generic`

🌐 Extrahiert Absatztext und Codeblöcke von generischen Websites.

📁 Dateistruktur

browser-automation-agent/ ├── main.py # MCP server implementation ├── client.py # Mistral AI client implementation ├── requirements.txt # Project dependencies ├── .env # Environment variables (API keys) └── README.md # Project documentation

📤 Ausgabedateien

Der Agent generiert zwei Arten von Ausgabedateien mit Zeitstempeln:

📸 final_page_YYYYMMDD_HHMMSS.png : Screenshot des endgültigen Seitenstatus
📄 scraped_content_YYYYMMDD_HHMMSS.txt : Extrahierter Textinhalt von der Seite

⚙️ Anpassung

Sie können die folgenden Parameter im Code ändern:

🖥️ Browserfenstergröße: Passen Sie width und height in browse_and_scrape
👻 Headless-Modus: Setzen Sie headless=True für unsichtbaren Browserbetrieb
🔢 Anzahl der Google-Ergebnisse: Ändern Sie num_results in get_top_google_url

❓ Fehlerbehebung

🔌 Verbindungsprobleme : Stellen Sie sicher, dass Server und Client in separaten Terminals ausgeführt werden
🎭 Playwright-Fehler : Stellen Sie sicher, dass Browser mit playwright install installiert sind
🔑 API-Schlüsselfehler : Überprüfen Sie, ob Ihr Mistral-API-Schlüssel in der .env Datei korrekt festgelegt ist
🛣️ Pfadfehler : Aktualisieren Sie bei Bedarf den Pfad zu main.py in client.py

📜 Lizenz

MIT-Lizenz

🤝 Beitragen

Beiträge sind willkommen! Senden Sie gerne einen Pull Request.

Erstellt mit 🧩 MCP, 🎭 Playwright und 🧠 Mistral AI

This server cannot be installed

-

security - not tested

F

license - not found

-

quality - not tested

How are these scores calculated?

local-only server

The server can only run on the client's local machine because it depends on local resources.

Ermöglicht intelligentes Web Scraping durch ein Browser-Automatisierungstool, das Google durchsuchen, zu Webseiten navigieren und Inhalte von verschiedenen Websites extrahieren kann, darunter GitHub, Stack Overflow und Dokumentationsseiten.

Related MCP Servers

Browser Use Server
ztobs
A
security
F
license
A
quality
Enables browser automation using Python scripts, offering operations like taking webpage screenshots, retrieving HTML content, and executing JavaScript.
Last updated -
4
19
Crawl4AI RAG MCP Server
vedantparmar12
-
security
F
license
-
quality
Provides AI agents and coding assistants with web crawling and RAG capabilities, allowing them to scrape websites and perform semantic searches on the crawled content.
Last updated -
2
URL Text Fetcher MCP Server
billallison
A
security
A
license
A
quality
Enables AI models to fetch text content from URLs, extract links from web pages, and search the web using Brave Search with automatic content retrieval from top results. Provides comprehensive web scraping and search capabilities with robust error handling.
Last updated -
5
MIT License
Stealth Browser MCP
vibheksoni
-
security
A
license
-
quality
Enables AI agents to perform undetectable browser automation that bypasses Cloudflare, antibots, and social media blocks. Provides 105 tools for element extraction, network debugging, and real-world web scraping with a 98.7% success rate on protected sites.
Last updated -
72
MIT License

View all related MCP servers

Browser Automation MCP Server