CUDA共2篇
排序
vllm：加州大学伯克利分校等机构联合开发的开源项目，专注于解决大模型推理过程中的性能瓶颈问题
📦 项目开源地址：vllm ⭐ Stars: 32k+ 🛠️ Python / C++ / CUDA 💡 项目定位：拥有 PagedAttention 核心的高性能大模型推理与服务引擎，吞吐量相比传统 HuggingFace 提升数倍。 1. 项目基本信...
前天
大模型训练神器 DeepSpeed 一个深度学习优化库，它使分布式训练和推理变得简单、高效和有效
📦 项目开源地址：DeepSpeed ⭐ Stars: 35k+ 🛠️ Python / C++ / CUDA 💡 项目定位：微软开源的深度学习优化库，包含 ZeRO 内存优化技术，大幅降低千亿参数大模型分布式训练与微调门槛。 1. 项...
前天
