Pin_Qing头像
两台Mac就能跑大模型,账单是四万美元封面图

两台Mac就能跑大模型,账单是四万美元

给一个8000亿参数的开源模型算过账的人都懂:光显存这一项就够劝退。所以当“两台Mac Studio就能在本地把它跑起来”的消息刷出来时,很难不心动——不联网,也不进API账单,代码还不出门。

这件事的底子是这样的:Meta在10月15日放出开放权重的Muse Spark Open,MoE架构,8160亿总参数、每次只激活约420亿,100万token上下文,原生多模态,主打写代码和长周期Agent任务。它和苹果做了深度适配,新版MLX框架能把模型拆到多台机器上跑,两台带M5 Ultra、512GB统一内存的Mac Studio就能装下整套权重。

问题出在“装得下”和“用得起”之间。

四万美元的入场券

目前在售的256GB版Mac Studio单台就要一万多美元,512GB版本这个月底才开卖。想现在就跑,只能用四台256GB凑出1TB内存,整机成本超过四万美元。

苹果自己的测试口径下,四台集群生成速度是每秒36个token出头——比人读得快,但和云API“回车即出”的手感完全不是一回事。

所以这事的本质是:开源权重没让推理变便宜,它只是把“按token计费”换成了“一次性买断硬件”。 对常年跑批、代码又不能出内网的团队,买断可能几年就回本;对峰值不高、偶发使用的独立开发者,四万美元换来每秒几十个token,云端按量还是更划算的那条路。

同一套权重,跑法直接决定成本

另一个容易被忽略的点是:同一套权重,跑法直接决定成本。

这次官方把SGLang、vLLM、TensorRT-LLM这些主流引擎都适配了。其中Meta自带的Helion GPU内核在SGLang上能带来最高3.95倍的内核级加速,在AMD MI350上端到端提速3%。权重放出来只是起点,你配什么卡、用哪套引擎,最后跑出来的单位成本能差好几倍。

几句泼冷水的话

许可证对部分商业用途有限制:年营收超过2000万美元的企业,若将模型用于服务型业务,需与Meta另行签约。商用前先读清楚。

官方只挑了六项测试说第一,而代码这类硬任务上,老牌开源模型并不吃亏。在Terminal-Bench 2.1上,Muse Spark Open得分76.4,低于GLM 5.3的83.9和Kimi K3的85.0;DeepSWE 1.1上60分,同样落后于GLM和Kimi的67和68分。“最强”终归是厂商自己的口径。

每秒36 token是四台机器集群的成绩,别按单台去预期。

对多数人来说,走API显然更省事

想把几条线路和账单收在一起管,交给EasyAPI就够了:一个Key接入所有主流模型,统一记录调用和成本,按任务分配路由,切换只改配置不碰业务代码。自己养模型是少数团队的选择,但把调用层做薄、随时能切,是多数人都用得上的能力。

转载自 CSDN-专业IT技术社区

原文链接:https://blog.csdn.net/Pin_Qing/article/details/168114321

文章来源转载

评论

评论列表

微信小程序
QQ小程序

关于作者

点赞数:0
关注数:0
粉丝:0
文章:0
关注标签:0
加入于:--