SGLang
伯克利团队研发的结构化大模型推理加速引擎，独创 RadixAttention 实现跨请求跨轮次 KV 缓存自动复用，吞吐量超越 vLLM。
排序
ExLlamaV2
专为 NVIDIA 现代架构显卡打造的极速推理引擎，自研 EXL2 量化格式，在单卡消费级显卡上实现每秒上百 Token 狂飙。
Open-WebUI
功能最完备的开源本地 WebUI，完美复刻 ChatGPT 级交互并深度集成 Ollama、RAG 与语音交互。
AutoAWQ
基于 MIT 激活感知权重（AWQ）算法的 4-bit 极限模型量化库，在保持高生成精度的同时实现推理吞吐狂飙。
FastChat
LMSYS 团队打造的开源大模型服务与天梯评测平台，孕育了 Vicuna 神作，更是全球大模型竞技场 LMSYS Arena 的底层引擎。
MLC LLM
基于 Apache TVM 编译技术的通用大模型编译器，支持将大模型直接编译部署至 iOS、Android、WebGPU 与各类硬件平台。
vLLM
伯克利团队研发的高吞吐、低显存消耗的大模型推理服务引擎，独创 PagedAttention 机制，被全球云厂商奉为推理基准。
ComfyUI
全球最强大、最灵活的节点式（Node-Based）Stable Diffusion 与 FLUX 视觉生成工作流引擎。
OpenLLM
BentoML 团队打造的云原生大模型生产部署平台，一键将开源大模型打包为高可用、可水平伸缩的云端微服务容器。
LLaMA-Factory
全球最完善的开源大模型统一微调工厂，内置全功能 WebUI，免代码可视化完成上百款主流模型的训练与评测。
Unsloth
颠覆底层 CUDA 算子的大模型极速微调神作，训练速度提升 2-5 倍，显存消耗狂降 80%，完全零准确率损失。
DeepSpeed
微软官方出品的超大规模模型分布式训练与推理优化库，独创 ZeRO 显存优化技术，支撑千亿级参数模型训练落地。
Jan.ai
完全开源、100% 离线的 ChatGPT 桌面替代品，数据完全留存在本地硬盘，支持自由切换本地引擎与云端大模型。
LM Studio
体验最奢华的跨平台本地大模型桌面客户端，一键发现、下载 Hugging Face GGUF 权重并在纯离线环境下流畅运行。
Aphrodite Engine
专为高负载角色扮演与长文本叙事打造的开源超大规模推理引擎，PygmalionAI 与 AI Horde 分布式算力网络的核心后端。