返回时间轴
震后 发生于 2025.07 更新于 2026.08.21

在你电脑上复现震惊

7B 蒸馏版双平台实测

R1 蒸馏让本地运行成为可能。我们在 Mac M5 Max 与 RTX 5070 Ti 上跑通全流程,给出最小可行配置。

#本地部署#实测#蒸馏

为什么能本地跑

R1 将 671B 能力蒸馏到 1.5B/7B/14B/32B,小模型继承长思考链能力。

Ollama / LM Studio 一键拉取,无需从头训练。

双平台实测

Mac M5 Max(128GB 统一内存):7B Q4 量化约 5GB,128K 上下文约 18GB,M5 神经引擎可跑 28 tok/s。

Windows RTX 5070 Ti(16GB):7B Q4 + offload,32K 上下文稳定,64K 需 KV 磁盘卸载(参考 DualPath 思路)。

结论:7B 是消费级甜点,14B 需 24GB 显存,32B 需双卡或量化。

最小可行方案

小白:Ollama run deepseek-r1:7b,一行命令。

进阶:LM Studio + RAG 知识库,本地私有问答。

资深:vLLM + Flash + DualPath KV 卸载,跑满 1M 上下文。

与震后浪潮的呼应

1.27 后的本地部署搜索暴涨 300% 不是偶然,是蒸馏降低了门槛。

吾路科技的双平台方案,正是为承接这一波本地化需求。

来源
  • · Ollama
  • · DeepSeek-R1 Distill
  • · DualPath 2026-02-25
  • · 吾路本地实测

内容基于公开新闻与论文整理,仅为知识科普,不构成投资建议。

发生时间 2025.07 内容更新于 2026.08.21 · 持续迭代中