llama.cpp 用 C/C++ 实现大语言模型推理,面向需要在 C/C++ 技术栈中进行 LLM 推理的开发者。主要语言为 C++,关联 ggml,GitHub 星标 129658。
LLM inference in C/C++
C++ · ★ 129.7k · fork 23.8k · MIT · 2 小时前有推送
项目主页
评分由 公开的焚评公式 程序计算,数据来自 GitHub API,最近重算于 1 小时前。