LLM inference server with continuous batching & SSD caching for Apple Silicon — managed from the macOS menu bar
Python · ★ 22.3k · fork 1,934 · Apache-2.0 · 11 小时前有推送
项目主页
评分由 公开的焚评公式 程序计算,数据来自 GitHub API,最近重算于 3 小时前。