Redis 作者 antirez 出手了！DwarfStar 让 DeepSeek V4 在你的 MacBook 上以 36 t/s 飞奔

开篇：当 Redis 之父决定造一个推理引擎

2026 年 6 月，一个叫 ds4 的 GitHub 仓库在不到一周内冲上了 13,000+ Stars。不是因为它用了什么花哨的营销，而是因为它的作者——Salvatore Sanfilippo，也就是大名鼎鼎的 antirez，Redis 的创造者。

这次他不搞缓存数据库了，而是用 C 语言从零写了一个 DeepSeek V4 Flash / PRO 的专用本地推理引擎，取名 DwarfStar（矮星——小而强大）。

这不是又一个 llama.cpp 的 wrapper，也不是一个通用 GGUF 加载器。antirez 在 README 里写得很明确：

“This is not a generic GGUF runner, not a wrapper around another runtime: it is completely self-contained.”

一句话总结：如果你有 96GB+ 内存的 Mac 或者一台 DGX Spark，你现在就能在本地以 36 tokens/s 的速度跑 DeepSeek V4——完全离线，完全私密，零 API 费用。

一、它到底解决了什么痛点？

1.1 大模型本地推理的「最后一公里」困境

过去两年，开源大模型的参数量从 7B 一路飙升到万亿级别。DeepSeek V4 Flash 是一个 数百亿激活参数的 MoE 模型，总参数量接近万亿。虽然有各种量化方案可以压缩模型体积，但真正的问题是：

通用推理框架太「通用」了：llama.cpp 要支持几十种模型架构，代码复杂度极高，针对单个模型的优化空间有限。
KV Cache 管理粗放：长上下文场景下，KV Cache 动辄吃掉几十 GB 内存，成了真正的瓶颈。
工具调用转换损耗：DeepSeek 使用 DSML 格式的工具调用，通用框架需要做格式转换，容易出错且丢失 KV 前缀一致性。

1.2 DwarfStar 的解法：只做一个模型，做到极致

antirez 的策略非常 antirez——窄而深：

特性	llama.cpp	DwarfStar
支持模型数	100+	仅 DeepSeek V4 Flash/PRO
KV Cache 策略	内存为主	磁盘 KV Cache 为一等公民
SSD 流式加载	不支持	✅ 按需加载 MoE Expert
分布式推理	实验性	✅ TCP 流水线 prefill
工具调用	格式转换	原生 DSML，零转换
量化方案	通用	非对称量化：只压缩 MoE 路由专家

这个策略的核心洞察是：当你只服务一个模型时，你可以把每一条计算路径都优化到极致。

二、底层硬核拆解：它是如何做到的？

2.1 非对称量化：只压缩该压缩的部分

DeepSeek V4 是一个 MoE（混合专家）模型，大部分参数都在「路由专家」（routed MoE experts）中。DwarfStar 的量化策略非常聪明：

路由专家 (占模型体积 >90%)  →  IQ2_XXS (2-bit 极致压缩)
共享专家                    →  Q8 (保持精度)
注意力层                    →  Q8 (保持精度)
输出层                      →  Q8 (保持精度)

这意味着一个原本需要数百 GB 的模型，被压缩到 ~81GB (Q2) 甚至可以放进 96GB 内存的 MacBook Pro。而且因为非路由部分完全不损失精度，模型的整体质量出奇地好——antirez 说这些 2-bit 量化版本 **”不是笑话”**，它们在编码 Agent 场景下工具调用依然可靠。

2.2 磁盘 KV Cache：重新定义缓存归属

这是 DwarfStar 最有前瞻性的设计。传统推理引擎把 KV Cache 当作 RAM 的「租户」，但 antirez 认为：

“The KV cache is actually a first-class disk citizen.”

现代 MacBook 的 SSD 读取速度已经快到可以容忍 KV Cache 的「缓存未命中」。DwarfStar 的设计是：

非路由权重常驻 GPU 内存
路由专家放在内存缓存中，缓存未命中时从 SSD 加载
KV Cache 可以溢出到磁盘，用磁盘空间换内存空间

这个设计让原本 「能跑 / 不能跑」的二元判断 变成了一个 连续的速度谱：

可用内存	效果
≥ 模型大小	最快，全量驻留内存
< 模型大小但 ≥ 64GB	SSD 流式加载，生成速度略降
32-64GB	需要精调缓存预算，可用但较慢

1 2	# 64GB MacBook 也能跑！ ./ds4 -m ./ds4flash.gguf --ssd-streaming --ssd-streaming-cache-experts 32GB --ctx 32768 --nothink

2.3 分布式推理：两台 Mac 合体

DwarfStar 支持通过 TCP 将模型的 Transformer 层拆分到多台机器上：

1 2	机器 A (Coordinator): 层 0-30 → 激活通过 TCP 发送机器 B (Worker): 层 31-输出 → 计算 logits 返回

实测数据（两台 M5 Max 128GB MacBook，Thunderbolt 5 连接）：

Prompt 长度	单机	双机	加速比
9,421 tokens	421.70 t/s	582.22 t/s	1.38x
28,684 tokens	405.30 t/s	674.16 t/s	1.66x
63,819 tokens	353.62 t/s	654.79 t/s	1.85x

注意：prefill 可以加速（流水线并行），但 生成阶段会变慢（自回归依赖）。所以分布式的主要用途是：

跑单机放不下的大模型（如 PRO Q4 拆分到两台 512GB Mac Studio）
加速超长 prompt 的 prefill

2.4 原生 Agent：推理引擎内嵌代码助手

DwarfStar 内置了一个编码 Agent——ds4-agent，它的设计哲学和市面上的 AI Agent 完全不同：

没有 API 边界：推理从 Agent 内部直接调用，不走 socket/API
会话 = KV Cache 文件：切换会话就是切换 KV Cache，无需重新 prefill
原生 DSML 工具调用：不经过任何格式转换，工具调用零损耗
支持会话持久化：/save、/list、/switch 管理多个会话

1	./ds4-agent --chdir /path/to/ds4

2.5 兼容主流 Agent 生态

DwarfStar 的 ds4-server 提供了 OpenAI、Anthropic、Responses 三种兼容 API：

1 2	# 启动服务器 ./ds4-server --ctx 100000 --kv-disk-dir /tmp/ds4-kv --kv-disk-space-mb 8192

你可以把它接入：

Claude Code（Anthropic 兼容端点）
Codex CLI（Responses 端点）
opencode（OpenAI 兼容端点）
Pi Agent（OpenAI 兼容端点）

三、全流程跑通指南

3.1 环境要求

硬件	最低要求	推荐配置
macOS	MacBook Pro 96GB RAM	Mac Studio M3 Ultra 512GB
Linux	128GB RAM + NVIDIA GPU	DGX Spark
存储	100GB 可用空间	NVMe SSD

3.2 安装步骤

# 1. 克隆仓库
git clone https://github.com/antirez/ds4.git
cd ds4

# 2. 编译（根据你的平台选择）
make                  # macOS Metal
make cuda-spark       # Linux CUDA, DGX Spark
make cuda-generic     # Linux CUDA, 其他 GPU
make cpu              # CPU 诊断模式

# 3. 下载模型（推荐 imatrix 版本）
./download_model.sh q2-imatrix   # 96/128GB RAM
./download_model.sh q4-imatrix   # ≥256GB RAM

# 4. 运行！
./ds4

3.3 快速体验

# 单次提问
./ds4 -p "Explain Redis streams in one paragraph."

# 交互式聊天
./ds4
ds4> /think           # 开启思考模式
ds4> /nothink         # 关闭思考模式（更快）
ds4> /ctx 32768       # 设置上下文长度
ds4> /read myfile.py  # 读取文件到上下文

# 作为 OpenAI 兼容服务器
./ds4-server --ctx 100000

# 用 curl 测试
curl http://127.0.0.1:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model":"deepseek-v4-flash",
    "messages":[{"role":"user","content":"Hello!"}],
    "stream":true
  }'

3.4 性能调优

# 降低功耗和噪音（MacBook 用户福音）
./ds4 --power 50    # 目标 50% GPU 使用率

# SSD 流式加载调优
./ds4 -m ./ds4flash.gguf --ssd-streaming --ssd-streaming-cache-experts 48GB

# 分布式推理（两台机器）
# 机器 A
./ds4 --role coordinator --layers 0:30 --listen 192.168.1.100 1234
# 机器 B
./ds4 --role worker --layers 31:output --coordinator 192.168.1.100 1234

四、速度实测数据

以下是 Metal 平台的完整基准测试（--ctx 32768 --nothink greedy）：

机器	量化	Prompt	Prefill	Generation
MacBook Pro M3 Max 128GB	Q2	短文本	58.52 t/s	26.68 t/s
MacBook Pro M5 Max 128GB	Q2	短文本	87.25 t/s	34.27 t/s
Mac Studio M3 Ultra 512GB	Q2	短文本	84.43 t/s	36.86 t/s
Mac Studio M3 Ultra 512GB	Q4	短文本	78.95 t/s	35.50 t/s
Mac Studio M3 Ultra 512GB	PRO Q2	32K tokens	138.82 t/s	9.56 t/s
DGX Spark GB10 128GB	Q2	7K tokens	343.81 t/s	13.75 t/s

关键洞察：M5 Max 的 generation 速度比 M3 Max 快了 **28%**，Apple Silicon 的代际提升在推理场景下非常可观。而 M3 Ultra 512GB 的 Mac Studio 则是目前体验最好的「本地大模型工作站」。

五、这对我们意味着什么？

5.1 本地推理正式进入「可用」时代

过去本地跑大模型更像是一个技术 demo——能跑，但慢得不实用。DwarfStar 证明了：专用引擎 + 智能量化 + SSD 流式加载 的组合，可以让万亿参数模型在消费级硬件上达到可用的推理速度。

5.2 antirez 的「窄而深」哲学

在 AI 工具链普遍追求「大而全」的今天，antirez 选择了一条反直觉的路：只支持一个模型，但做到极致。这和他当年写 Redis 的哲学一脉相承——先做好一件事，做到最好。

5.3 开发者的新选择

如果你：

需要完全离线的 AI 编码助手
有 96GB+ 内存的 Mac
对 API 价格敏感或对数据隐私有要求
想体验最原生的 DeepSeek V4 推理

那么 DwarfStar 值得你今天就试试。

📺 相关视频

🎬 antirez 与 Redis 的故事
antirez: Inventing Redis — YouTube

🎬 DeepSeek V4 模型解析
DeepSeek V4 Flash 与 PRO 深度解析 — Bilibili

🎬 Mac 本地跑大模型实战
MacBook 本地推理大模型完全指南 — Bilibili

Echo 的一句点评：DwarfStar 不只是一个推理引擎，它是 antirez 对「本地 AI 应该如何工作」的一次完整宣言。当所有人都在往云端跑的时候，有人在认真地把 AI 拉回你的桌面上——这种工程浪漫主义，值得 respect。

🔗 项目地址：github.com/antirez/ds4
📝 作者：Ren Echo | renecho-blog.pages.dev