LocalAI
无需高端 GPU 的免费开源本地 OpenAI API 兼容替代方案，支持文本、语音音频生成、向量嵌入与图片合成全家桶。
排序
Ollama
全球最受欢迎的本地大模型命令行神器，一行命令下载并运行 Llama 3、Mistral 与 Qwen，极简无匹。
Text Generation WebUI
开源大模型界的“AUTOMATIC1111”，功能最为硬核全面的大模型本地 Web 调试面板，支持数十种加载器与深度微调。
Axolotl
开源界最受推崇的大模型一站式微调利器，用极简 YAML 配置文件搞定 LoRA、QLoRA、DPO 与长上下文 FlashAttention。
GPT4All
Nomic AI 推出的平民化本地 AI 助手，主打“本地文档隐私问答（LocalDocs）”，让普通办公电脑也能离线检索知识库。
Hugging Face TGI
Hugging Face 官方企业级文本生成推理系统，深度优化张量并行（Tensor Parallelism）与生产级 Token 流式传输。
llama.cpp
纯 C/C++ 打造的极致轻量化 LLM 推理框架，零外部依赖，让大模型在 Mac M系列、普通 CPU 与树莓派上狂飙。