A
securityA
licenseA
qualityAn MCP server that provides LLMs access to other LLMs
Last updated -
28
66
MIT License
MCP vLLM ベンチマークツール
これは、MCP を使用して vLLM をインタラクティブにベンチマークする方法の概念実証です。
私たちはベンチマークに新しいわけではありません。私たちのブログをお読みください。
これは、MCP の可能性を探る試みにすぎません。
使用法
リポジトリをクローンする
MCP サーバーに追加します:
{
"mcpServers": {
"mcp-vllm": {
"command": "uv",
"args": [
"run",
"/Path/TO/mcp-vllm-benchmarking-tool/server.py"
]
}
}
}
次に、たとえば次のようにプロンプトできます。
Do a vllm benchmark for this endpoint: http://10.0.101.39:8888
benchmark the following model: deepseek-ai/DeepSeek-R1-Distill-Llama-8B
run the benchmark 3 times with each 32 num prompts, then compare the results, but ignore the first iteration as that is just a warmup.
やること:
vllm のランダムな出力により、無効な JSON が検出された可能性があります。まだ詳しく調べていません。
This server cannot be installed
remote-capable server
The server can be hosted and run remotely because it primarily relies on remote services or has no dependency on the local environment.
ユーザーが MCP を介して vLLM エンドポイントをベンチマークし、カスタマイズ可能なパラメータを使用して LLM モデルのパフォーマンス テストを実行できるようにするインタラクティブ ツールです。
Related MCP Servers
- -securityAlicense-qualityAn MCP server that allows agents to test and compare LLM prompts across OpenAI and Anthropic models, supporting single tests, side-by-side comparisons, and multi-turn conversations.Last updated -MIT License
- -securityFlicense-qualityAn MCP server that integrates various penetration testing tools, enabling security professionals to perform reconnaissance, vulnerability scanning, and API testing through natural language commands in compatible LLM clients like Claude Desktop.Last updated -4
- -securityAlicense-qualityConnects local LLMs to external tools (calculator, knowledge base) via MCP protocol, enabling automatic tool detection and execution to enhance query responses.Last updated -MIT License