Unsloth
颠覆底层 CUDA 算子的大模型极速微调神作，训练速度提升 2-5 倍，显存消耗狂降 80%，完全零准确率损失。
📖 产品全景深度剖析与核心架构机理
LocalAI 是边缘计算与私有云部署的神器。它不仅支持文本对话接口，更完整复刻了 OpenAI 的 /v1/embeddings、/v1/audio/transcriptions（Whisper）以及 /v1/images/generations，甚至支持在消费级普通 CPU 上顺畅运行，被大量需要合规脱敏的政企内网选为统一网关。
快速安装 / 生产调用指令
生产推荐
生产推荐
docker run -p 8080:8080 --name local-ai -ti localai/localai:latest-aio-cpu
官方仓库/主站直达：https://localai.io/
🎯 核心能力与工程性能量化评估
API 协议覆盖度
5.0 / 5.0
5.0 / 5.0
全方位兼容 OpenAI 文本、嵌入、语音与图片全接口
无 GPU 运行能力
4.9 / 5.0
4.9 / 5.0
针对普通服务器 CPU 指令集优化，无需昂贵显卡投入
单机多模态集成
4.8 / 5.0
4.8 / 5.0
一个容器统一管理 LLM、TTS、STT 与扩散模型
容器化敏捷部署
4.9 / 5.0
4.9 / 5.0
提供官方预置模型的 All-In-One Docker 镜像
数据统计
相关导航
ComfyUI
全球最强大、最灵活的节点式（Node-Based）Stable Diffusion 与 FLUX 视觉生成工作流引擎。
Axolotl
开源界最受推崇的大模型一站式微调利器，用极简 YAML 配置文件搞定 LoRA、QLoRA、DPO 与长上下文 FlashAttention。
LM Studio
体验最奢华的跨平台本地大模型桌面客户端，一键发现、下载 Hugging Face GGUF 权重并在纯离线环境下流畅运行。
DeepSpeed
微软官方出品的超大规模模型分布式训练与推理优化库，独创 ZeRO 显存优化技术，支撑千亿级参数模型训练落地。
ExLlamaV2
专为 NVIDIA 现代架构显卡打造的极速推理引擎，自研 EXL2 量化格式，在单卡消费级显卡上实现每秒上百 Token 狂飙。
Open-WebUI
功能最完备的开源本地 WebUI，完美复刻 ChatGPT 级交互并深度集成 Ollama、RAG 与语音交互。
llama.cpp
纯 C/C++ 打造的极致轻量化 LLM 推理框架，零外部依赖，让大模型在 Mac M系列、普通 CPU 与树莓派上狂飙。