
Ollama
全球最受欢迎的本地大模型命令行神器,一行命令下载并运行 Llama 3、Mistral 与 Qwen,极简无匹。
纯 C/C++ 打造的极致轻量化 LLM 推理框架,零外部依赖,让大模型在 Mac M系列、普通 CPU 与树莓派上狂飙。
开源大模型普及运动的核心基石。llama.cpp 彻底摒弃了庞杂沉重的 Python 运行时,采用纯 C/C++ 实现了对 ARM NEON、AVX2/AVX-512 以及 Apple Metal 的极致硬件底层汇编优化。其主导的 GGUF 量化格式已成为全球端侧与个人电脑运行开源大模型的统一通用事实标准。
git clone https://github.com/ggerganov/llama.cpp && cmake -B build && cmake --build build --config Release
纯 C/C++ 编写,零第三方冗余依赖,启动快如闪电
从 Apple Silicon、各类 CPU 到树莓派全平台原生加速
一手开创并定义了全球量化模型格式 GGUF 事实标准
GitHub 斩获 70K+ Stars,现代开源软件传奇标杆







