A
securityA
licenseA
qualityAn MCP server that provides LLMs access to other LLMs
Last updated -
28
66
MIT License
Herramienta de evaluación comparativa MCP vLLM
Esta es una prueba de concepto sobre cómo utilizar MCP para evaluar de forma interactiva vLLM.
No somos nuevos en benchmarking, lea nuestro blog:
Evaluación comparativa de vLLM
Esta es solo una exploración de posibilidades con MCP.
Uso
Clonar el repositorio
Agreguelo a sus servidores MCP:
{
"mcpServers": {
"mcp-vllm": {
"command": "uv",
"args": [
"run",
"/Path/TO/mcp-vllm-benchmarking-tool/server.py"
]
}
}
}
Entonces puedes indicar un ejemplo como este:
Do a vllm benchmark for this endpoint: http://10.0.101.39:8888
benchmark the following model: deepseek-ai/DeepSeek-R1-Distill-Llama-8B
run the benchmark 3 times with each 32 num prompts, then compare the results, but ignore the first iteration as that is just a warmup.
Hacer:
Debido a algunas salidas aleatorias de vllm, es posible que se indique que encontró un JSON no válido. Aún no lo he investigado.
This server cannot be installed
remote-capable server
The server can be hosted and run remotely because it primarily relies on remote services or has no dependency on the local environment.
Una herramienta interactiva que permite a los usuarios evaluar los puntos finales de vLLM a través de MCP, lo que permite realizar pruebas de rendimiento de modelos LLM con parámetros personalizables.
Related MCP Servers
- -securityAlicense-qualityAn MCP server that allows agents to test and compare LLM prompts across OpenAI and Anthropic models, supporting single tests, side-by-side comparisons, and multi-turn conversations.Last updated -MIT License
- -securityFlicense-qualityAn MCP server that integrates various penetration testing tools, enabling security professionals to perform reconnaissance, vulnerability scanning, and API testing through natural language commands in compatible LLM clients like Claude Desktop.Last updated -4
- -securityAlicense-qualityConnects local LLMs to external tools (calculator, knowledge base) via MCP protocol, enabling automatic tool detection and execution to enhance query responses.Last updated -MIT License