antirez 的 DwarfStar：当 Redis 之父用 C 语言重写 DeepSeek V4 推理引擎

“This project takes a deliberately narrow bet: one model at a time.” — Salvatore Sanfilippo

2026 年 5 月 6 日，一个名为 antirez/ds4 的 GitHub 仓库悄然出现。两周内，它收获了 13,000+ 颗星标。这不是又一个 GGUF 加载器，也不是 llama.cpp 的 fork——这是 Redis 的创造者 Salvatore Sanfilippo（antirez）用纯 C 语言从头构建的 DeepSeek V4 本地推理引擎。

一、为什么是 DeepSeek V4？

在开始讨论 DwarfStar 的技术细节之前，我们需要理解一个关键问题：为什么 antirez 选择了 DeepSeek V4，而不是更流行的 Llama 或 Qwen？

antirez 在 README 中给出了明确的答案：

“Very capable open weight models finally exist. DeepSeek v4 Flash feels quasi-frontier. The PRO is even better. Both resist 2 bit quantization very well.”

这里有几个重要的技术判断：

1. DeepSeek V4 的 KV Cache 设计具有革命性

DeepSeek V4 采用了压缩 KV Cache 的设计，这使得在极长上下文场景下（数十万 token）依然保持可管理的内存占用。antirez 特别指出：”DeepSeek v4 kv cache design makes it practical to run very big contexts.”

2. 2-bit 量化不再是玩笑

传统的观点认为 2-bit 量化会严重损害模型质量。但 DeepSeek V4 的架构设计使其对极低比特量化有天然的抵抗力。DwarfStar 提供的 2-bit 量化版本 “不是玩笑”——它们在编码代理场景下表现可靠，工具调用准确。

3. “机会主义”的模型选择策略

antirez 的态度非常务实：”If tomorrow a better open weight model is released for the 128GB size, we could switch.” 这不是一个模型绑定的项目，而是一种方法论的验证——用一个模型证明”本地推理可以做到端到端的完美体验”。

二、架构设计：窄而深

DwarfStar 的设计哲学可以概括为一个词：narrow（窄）。它不是通用的 GGUF 运行器，不是另一个推理框架的包装器，而是一个完全自包含的、针对 DeepSeek V4 优化的推理引擎。

2.1 核心文件结构

ds4.c / ds4.h          — 主推理引擎
ds4_metal.m            — Metal 后端（macOS）
ds4_cuda.cu            — CUDA 后端（NVIDIA）
ds4_rocm.cu            — ROCm 后端（AMD）
ds4_agent.c            — 内置编码代理
ds4_server.c           — HTTP API 服务器
ds4_kvstore.c          — KV Cache 存储层
ds4_ssd.c              — SSD 流式加载
ds4_distributed.c      — 分布式推理
ds4_eval.c             — 评估与验证
ds4_cli.c              — CLI 交互界面
ds4_web.c              — Web UI

整个项目只有一个 .c 主文件（ds4.c），这种”单文件引擎”的风格是 antirez 的标志——就像 Redis 最初的设计一样。

2.2 三大 GPU 后端

后端	目标平台	优先级
Metal	macOS（MacBook 96GB+、Mac Studio）	主要目标
CUDA	NVIDIA GPU、DGX Spark	Linux 主力
ROCm	AMD Strix Halo（Framework Desktop 等）	新兴平台

Metal 作为首要目标是经过深思熟虑的。Apple Silicon 的统一内存架构使得 MacBook Pro（96GB 或更高配置）成为本地运行大模型的理想平台——没有 GPU 显存与系统内存的割裂问题。

2.3 KV Cache 磁盘化：核心创新

DwarfStar 最具颠覆性的理念是：

“The KV cache is actually a first-class disk citizen.”

传统推理引擎将 KV Cache 视为 RAM 中的数据结构。但 antirez 认为，现代 NVMe SSD 的速度（7GB/s+ 读取）已经改变了这个假设。DeepSeek V4 的压缩 KV Cache 设计进一步降低了磁盘 I/O 的开销。

这意味着什么？

RAM 不再是硬门槛：你不再需要将整个模型完全放入内存。SSD 流式加载将可用 RAM 从”能跑/不能跑”的二元判断变成了一个连续的速度光谱。
超长上下文成为可能：数十万 token 的对话历史可以持久化到磁盘，而不是被截断或丢弃。
上下文可恢复：KV Cache 可以序列化到磁盘并从磁盘恢复，实现”会话暂停/继续”的功能。

三、”AI 辅助开发”的新范式

DwarfStar 的另一个引人注目的特点是它的开发方式：

“This software is developed with strong assistance from GPT 5.5 and with humans leading the ideas, testing, and debugging.”

antirez 坦诚地公开了这一点，并明确表示：”If you are not happy with AI-developed code, this software is not for you.”

这引发了社区的广泛讨论。一方面，这是一个由顶级系统程序员主导、AI 辅助的开发模式——人类负责架构设计、关键决策和调试，AI 负责代码生成和细节实现。另一方面，这种坦诚本身就是一种态度：AI 辅助开发不是什么需要遮掩的事情。

3.1 人机协作的分工

从项目结构可以看出这种协作模式的痕迹：

人类主导：整体架构（单文件引擎、KV 磁盘化、窄模型策略）、关键优化方向、调试和验证
AI 辅助：CUDA/Metal/ROCm 内核实现、GGUF 格式解析、量化表生成、文档编写

这种模式可能是未来系统级软件开发的常态：顶级工程师提供方向和判断，AI 处理繁重的实现工作。

四、与 llama.cpp 的关系

DwarfStar 明确致敬了 llama.cpp 和 GGML 项目：

“ds4.c does not link against GGML, but it exists thanks to the path opened by the llama.cpp project and the kernels, quantization formats, GGUF ecosystem, and hard-won engineering knowledge developed there.”

具体来说，DwarfStar 保留或适配了一些来自 llama.cpp 的代码：

GGUF 量化布局和查找表
CPU 量化/点积逻辑
部分 GPU 内核

但 DwarfStar 不是 llama.cpp 的 fork 或包装器。它是一个全新的实现，只是站在了 llama.cpp 开创的生态之上。这种”致敬但独立”的态度，在开源社区中是一种健康的传承方式。

五、内置编码代理：ds4-agent

DwarfStar 不仅仅是一个推理引擎——它还包含了一个内置的编码代理 ds4-agent（虽然目前是 alpha 质量）。

这个代理的设计理念是端到端的验证：

“Our vision is that local inference should be a set of three things working well together, out of the box: A) inference engine with HTTP API + B) GGUF specially crafted to run well under a given engine + C) testing and validation with coding agents implementations.”

换句话说，一个本地推理引擎是否”真正可用”，不能只看 benchmark 分数——它需要在真实的编码代理场景中经受考验。ds4-agent 就是这个验证工具。

六、对本地推理格局的影响

DwarfStar 的出现对本地推理生态有几层含义：

6.1 “窄模型策略”的胜利

在 llama.cpp 试图支持所有模型、所有格式的”广撒网”策略之外，DwarfStar 证明了”窄而深”的路线同样有价值。专注于一个模型，可以做到 llama.cpp 无法达到的优化深度。

6.2 SSD 作为推理基础设施

将 SSD 流式加载作为推理的核心能力，而不是一个边缘特性，可能会改变整个本地推理的硬件需求假设。未来，”本地跑大模型”可能不再需要昂贵的大容量 RAM，一块高速 SSD 就够了。

6.3 顶级程序员 + AI 的开发范式

antirez 用实际行动证明，AI 辅助开发可以用于系统级软件，而不只是 Web 应用和脚本。这对整个软件工程行业都是一个信号。

6.4 DeepSeek 的生态位

DeepSeek V4 获得了一个专门的、高质量的推理引擎，这提升了 DeepSeek 在本地推理场景中的竞争力。相比之下，Llama 系列有 llama.cpp，但 DeepSeek 之前缺少类似级别的专门优化。

七、如何开始使用

如果你有一台 96GB+ 内存的 MacBook 或者 NVIDIA GPU，可以这样开始：

# 克隆仓库
git clone https://github.com/antirez/ds4.git
cd ds4

# 下载模型（需要足够的磁盘空间）
./download_model.sh

# 编译（macOS Metal 后端）
make

# 运行 CLI 交互
./ds4 --model path/to/model.gguf

# 启动 HTTP API 服务器
./ds4-server --model path/to/model.gguf --port 8080

对于 Linux + CUDA 用户：

1 2	make cuda ./ds4 --model path/to/model.gguf

对于 AMD Strix Halo 用户（如 Framework Desktop）：

1 2	make rocm ./ds4 --model path/to/model.gguf

八、视频资源

目前关于 DwarfStar 的视频资源还比较有限（项目只有一个月历史），但以下资源值得关注：

antirez 的 YouTube 频道 — 作者经常在 YouTube 上分享技术讲解
DeepSeek V4 官方介绍 — 了解模型本身的能力
Framework Desktop + Strix Halo 评测 — 了解 ROCm 后端的目标硬件

九、展望与思考

antirez 在 README 中留下了这样一个伏笔：

“The exact model may change as the landscape evolves, but the constraint remains: local inference credible on high end personal machines or Mac Studios, starting from 96/128GB of memory.”

这句话的潜台词是：DwarfStar 是一个方法论的验证，而不仅仅是一个工具。它证明了：

一个顶级程序员 + AI 可以在几周内构建出高质量的推理引擎
“窄而深”的策略在快速迭代的 AI 领域依然有效
本地推理的门槛正在迅速降低

当 DeepSeek V5 或其他更好的模型出现时，DwarfStar 可能会切换目标——但它所验证的方法论和架构模式将保留下来。

十、结语

Redis 改变了我们对数据存储的认知。现在，antirez 希望 DwarfStar 能改变我们对本地 AI 推理的认知。

在一个充斥着”支持所有模型”的通用框架的世界里，DwarfStar 的”窄而深”哲学显得格外清新。它提醒我们：有时候，最好的工具不是做最多事情的那个，而是把一件事情做到极致的那个。

正如 antirez 所说：”This project exists because we wanted to make one local model feel finished end to end, not just runnable.”

这种对”完成感”的追求，正是开源精神的核心。

项目信息

仓库：github.com/antirez/ds4
语言：C（主引擎）、Metal/CUDA/ROCm（GPU 后端）
许可证：MIT（包含 llama.cpp/GGML 的版权声明）
星标：13,412+
状态：Beta（推理引擎）、Alpha（编码代理）

本文基于 antirez/ds4 项目的 README、源代码结构和社区讨论编写。数据采集时间为 2026 年 6 月 10 日。