LocalAI
无需高端 GPU 的免费开源本地 OpenAI API 兼容替代方案，支持文本、语音音频生成、向量嵌入与图片合成全家桶。
排序
Aphrodite Engine
专为高负载角色扮演与长文本叙事打造的开源超大规模推理引擎，PygmalionAI 与 AI Horde 分布式算力网络的核心后端。
AutoAWQ
基于 MIT 激活感知权重（AWQ）算法的 4-bit 极限模型量化库，在保持高生成精度的同时实现推理吞吐狂飙。
OpenLLM
BentoML 团队打造的云原生大模型生产部署平台，一键将开源大模型打包为高可用、可水平伸缩的云端微服务容器。
LLaMA-Factory
全球最完善的开源大模型统一微调工厂，内置全功能 WebUI，免代码可视化完成上百款主流模型的训练与评测。
Unsloth
颠覆底层 CUDA 算子的大模型极速微调神作，训练速度提升 2-5 倍，显存消耗狂降 80%，完全零准确率损失。
SGLang
伯克利团队研发的结构化大模型推理加速引擎，独创 RadixAttention 实现跨请求跨轮次 KV 缓存自动复用，吞吐量超越 vLLM。
Axolotl
开源界最受推崇的大模型一站式微调利器，用极简 YAML 配置文件搞定 LoRA、QLoRA、DPO 与长上下文 FlashAttention。
FastChat
LMSYS 团队打造的开源大模型服务与天梯评测平台，孕育了 Vicuna 神作，更是全球大模型竞技场 LMSYS Arena 的底层引擎。
DeepSpeed
微软官方出品的超大规模模型分布式训练与推理优化库，独创 ZeRO 显存优化技术，支撑千亿级参数模型训练落地。
Ollama
全球最受欢迎的本地大模型命令行神器，一行命令下载并运行 Llama 3、Mistral 与 Qwen，极简无匹。
MLC LLM
基于 Apache TVM 编译技术的通用大模型编译器，支持将大模型直接编译部署至 iOS、Android、WebGPU 与各类硬件平台。
GPT4All
Nomic AI 推出的平民化本地 AI 助手，主打“本地文档隐私问答（LocalDocs）”，让普通办公电脑也能离线检索知识库。
Hugging Face TGI
Hugging Face 官方企业级文本生成推理系统，深度优化张量并行（Tensor Parallelism）与生产级 Token 流式传输。
ExLlamaV2
专为 NVIDIA 现代架构显卡打造的极速推理引擎，自研 EXL2 量化格式，在单卡消费级显卡上实现每秒上百 Token 狂飙。