
llama.cpp
纯 C/C++ 打造的极致轻量化 LLM 推理框架,零外部依赖,让大模型在 Mac M系列、普通 CPU 与树莓派上狂飙。
开源大模型界的“AUTOMATIC1111”,功能最为硬核全面的大模型本地 Web 调试面板,支持数十种加载器与深度微调。
被全球极客亲切称为“Ooba”,是玩转开源大模型必装的瑞士军刀。支持 llama.cpp、ExLlamaV2、Transformers、AutoGPTQ、AutoAWQ 等几乎所有已知的模型推理后端。提供字符预设、提示词工程实验台、LoRA 在线训练微调与长文本 RoPE 频率缩放调节,极度硬核自由。
git clone https://github.com/oobabooga/text-generation-webui && ./start_windows.bat
支持业界所有主流推理引擎与量化格式,兼容性最全
提供采样温度、Top-P、Min-P、Repetition 完整控制面板
内置直观的 LoRA 训练控制台,普通玩家也能训模型
开源社区历史最悠久、更新最频繁的调试神器







