
FastChat
LMSYS 团队打造的开源大模型服务与天梯评测平台,孕育了 Vicuna 神作,更是全球大模型竞技场 LMSYS Arena 的底层引擎。
微软官方出品的超大规模模型分布式训练与推理优化库,独创 ZeRO 显存优化技术,支撑千亿级参数模型训练落地。
现代万亿参数大模型时代最重要的底层支柱之一。DeepSpeed 首创了革命性的 ZeRO(零冗余优化器)技术,将优化器状态、梯度和模型参数彻底切分到不同显卡上,使普通企业集群也能训练原本需要上千张顶规显卡才能容纳的超大模型,奠定了现代分布式深度学习的工业标准。
pip install deepspeed && ds_report
彻底消除分布式数据并行中的显存冗余,训练规模翻倍
在成百上千张 GPU 组成的集群中保持极高的线性加速比
全球各大科技巨头自研基础大模型时的通用标准套件
微软研究院持续高强度迭代,GitHub 35K+ Stars







