ExLlamaV2翻译站点

5天前发布 13 0 0

专为 NVIDIA 现代架构显卡打造的极速推理引擎，自研 EXL2 量化格式，在单卡消费级显卡上实现每秒上百 Token 狂飙。

所在地：
全球开源 (turboderp)
语言：
C++ / CUDA / Python
收录时间：
2026-10-29
直达官网手机查看
ExLlamaV2ExLlamaV2
ExLlamaV2直达官网

📖 产品全景深度剖析与核心架构机理

ExLlamaV2 是专为追求极限速度的硬件发烧友打造的推理引擎。针对 NVIDIA Ada/Ampere/Turing 架构的 CUDA 核心进行了微观层面的汇编级重写。独创的 EXL2 量化格式支持任意位宽（如 2.2 到 8.0 bits）的无级量化，单张 RTX 4090 推理 70B 大模型时依然保持惊人的生成速度。

快速安装 / 生产调用指令
生产推荐 
pip install exllamav2 && python test_inference.py -m /path/to/model
官方仓库/主站直达：https://github.com/turboderp/exllamav2

🎯 核心能力与工程性能量化评估
单卡极限推理速度
5.0 / 5.0

单卡生成速率冠绝群雄，轻松突破 100+ tokens/s

EXL2 无级量化
5.0 / 5.0

支持任意小数位宽量化，将显存挤压至最后一兆字节

超低显存开销
4.9 / 5.0

针对长上下文推理显存优化极深，拒绝 OOM

极客发烧友推崇
4.8 / 5.0

本地高负载生产推理集群的核心利器

数据统计

相关导航