排序
vllm:加州大学伯克利分校等机构联合开发的开源项目,专注于解决大模型推理过程中的性能瓶颈问题
📦 项目开源地址:vllm ⭐ Stars: 32k+ 🛠️ Python / C++ / CUDA 💡 项目定位:拥有 PagedAttention 核心的高性能大模型推理与服务引擎,吞吐量相比传统 HuggingFace 提升数倍。 1. 项目基本信...
现代化开源系统 transformers 用于文本、视觉、音频和多模态模型的最先进的机器学习模型的模型定义框架
📦 项目开源地址:transformers ⭐ Stars: 138k+ 🛠️ Python / PyTorch / JAX 💡 项目定位:Hugging Face 推出的 NLP 与大模型基础设施库,提供数万个预训练 SOTA 模型的极简加载与微调接口。 ...


