llama.cpp共1篇
高性能 LLM 推理引擎 llama.cpp 支持 CPU/GPU 高效量化推理,开创了消费级设备运行大模型的风潮。-共赢源码

高性能 LLM 推理引擎 llama.cpp 支持 CPU/GPU 高效量化推理,开创了消费级设备运行大模型的风潮。

📦 项目开源地址:llama.cpp ⭐ Stars: 75k+ 🛠️ C / C++ 💡 项目定位:纯 C/C++ 实现的 LLM 推理引擎,支持 CPU/GPU 高效量化推理,开创了消费级设备运行大模型的风潮。 1. 项目基本信息 - 项...
gongyingchuanbo的头像-共赢源码gongyingchuanbo1个月前
02610