GitHub 又一款本地跑 AI 模型的开源新工具：Shimmy，直指 Ollama 的痛点。

单文件仅 5MB，却能提供快速、稳定的本地推理，并带完整的 OpenAI 兼容 API，接入成本几乎为零。

它用 Rust 打底，把性能榨到极致：启动不到 100ms、内存占用约 50MB。

项目地址：http://github.com/Michael-A-Kuykendall/shimmy

更省心的是开箱即用：无需配置、自动分配端口，还能自动发现模型来源——Hugging Face、Ollama 以及本地目录都支持。

对比 Ollama，在体积、启动速度、内存占用等关键指标上基本是“全线领先”。想体验更轻更快的本地推理，可以装一个试试。