llama.cpp
纯 C/C++ 打造的极致轻量化 LLM 推理框架，零外部依赖，让大模型在 Mac M系列、普通 CPU 与树莓派上狂飙。
📖 产品全景深度剖析与核心架构机理
推动 4-bit 工业量化落地的中流砥柱。不同于对所有权重一视同仁的粗暴截断，AWQ 算法敏锐地发现：只有约 1% 的显著权重对大模型的推理准确率起决定性作用。AutoAWQ 通过保护这 1% 的关键通道，实现了 4-bit 极低显存量化，且几乎完全保持了原版 16-bit 浮点数的智能逻辑水平。
快速调用 / 开发者接入指令
官方认证
官方认证
pip install autoawq && python -c 'import awq; print(awq.__version__)'
🎯 核心能力与工程性能量化评估
激活感知保护机制
5.0 / 5.0
5.0 / 5.0
只保护 1% 核心显著权重，实现极高质量的 4-bit 极限压缩
vLLM/TGI 原生原生加速
5.0 / 5.0
5.0 / 5.0
各大生产级推理框架原生第一梯队硬核支持其量化内核
显存占用直接砍半
4.9 / 5.0
4.9 / 5.0
原先需要 2 张昂贵显卡的模型，量化后单卡轻松容纳
工业推理标配
4.9 / 5.0
4.9 / 5.0
被全球众多企业部署私有化大模型时选为默认量化格式
数据统计
相关导航
MLC LLM
基于 Apache TVM 编译技术的通用大模型编译器，支持将大模型直接编译部署至 iOS、Android、WebGPU 与各类硬件平台。
vLLM
伯克利团队研发的高吞吐、低显存消耗的大模型推理服务引擎，独创 PagedAttention 机制，被全球云厂商奉为推理基准。
Open-WebUI
功能最完备的开源本地 WebUI，完美复刻 ChatGPT 级交互并深度集成 Ollama、RAG 与语音交互。
SGLang
伯克利团队研发的结构化大模型推理加速引擎，独创 RadixAttention 实现跨请求跨轮次 KV 缓存自动复用，吞吐量超越 vLLM。
Aphrodite Engine
专为高负载角色扮演与长文本叙事打造的开源超大规模推理引擎，PygmalionAI 与 AI Horde 分布式算力网络的核心后端。
OpenLLM
BentoML 团队打造的云原生大模型生产部署平台，一键将开源大模型打包为高可用、可水平伸缩的云端微服务容器。
Axolotl
开源界最受推崇的大模型一站式微调利器，用极简 YAML 配置文件搞定 LoRA、QLoRA、DPO 与长上下文 FlashAttention。