
vLLM
伯克利团队研发的高吞吐、低显存消耗的大模型推理服务引擎,独创 PagedAttention 机制,被全球云厂商奉为推理基准。
LMSYS 团队打造的开源大模型服务与天梯评测平台,孕育了 Vicuna 神作,更是全球大模型竞技场 LMSYS Arena 的底层引擎。
在大模型评测与服务历史上具有举足轻重的地位。不仅诞生了早期开源模型标杆 Vicuna,其搭建的分布式 Controller + Model Worker 架构更支撑了闻名全球的 Chatbot Arena(大模型盲测天梯榜),每天处理全球数万名用户的跨模型对战盲测,是大模型评测与推理的标准参考实现。
pip install fschat && python -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5
全球最具权威性的大模型盲测天梯 LMSYS Arena 底层核心
Controller 与 Worker 解耦,轻松管理数十个模型后端节点
成熟稳定的兼容 API,方便无缝平替各类业务端点
GitHub 36K+ Stars,伯克利与斯坦福学者联合维护





