给一个8000亿参数的开源模型算过账的人都懂:光显存这一项就够劝退。所以当“两台Mac Studio就能在本地把它跑起来”的消息刷出来时,很难不心动——不联网,也不进API账单,代码还不出门。
这件事的底子是这样的:Meta在10月15日放出开放权重的Muse Spark Open,MoE架构,8160亿总参数、每次只激活约420亿,100万token上下文,原生多模态,主打写代码和长周期Agent任务。它和苹果做了深度适配,新版MLX框架能把模型拆到多台机器上跑,两台带M5 Ultra、512GB统一内存的Mac Studio就能装下整套权重。
问题出在“装得下”和“用得起”之间。
四万美元的入场券
目前在售的256GB版Mac Studio单台就要一万多美元,512GB版本这个月底才开卖。想现在就跑,只能用四台256GB凑出1TB内存,整机成本超过四万美元。
苹果自己的测试口径下,四台集群生成速度是每秒36个token出头——比人读得快,但和云API“回车即出”的手感完全不是一回事。
所以这事的本质是:开源权重没让推理变便宜,它只是把“按token计费”换成了“一次性买断硬件”。 对常年跑批、代码又不能出内网的团队,买断可能几年就回本;对峰值不高、偶发使用的独立开发者,四万美元换来每秒几十个token,云端按量还是更划算的那条路。
同一套权重,跑法直接决定成本
另一个容易被忽略的点是:同一套权重,跑法直接决定成本。
这次官方把SGLang、vLLM、TensorRT-LLM这些主流引擎都适配了。其中Meta自带的Helion GPU内核在SGLang上能带来最高3.95倍的内核级加速,在AMD MI350上端到端提速3%。权重放出来只是起点,你配什么卡、用哪套引擎,最后跑出来的单位成本能差好几倍。
几句泼冷水的话
许可证对部分商业用途有限制:年营收超过2000万美元的企业,若将模型用于服务型业务,需与Meta另行签约。商用前先读清楚。
官方只挑了六项测试说第一,而代码这类硬任务上,老牌开源模型并不吃亏。在Terminal-Bench 2.1上,Muse Spark Open得分76.4,低于GLM 5.3的83.9和Kimi K3的85.0;DeepSWE 1.1上60分,同样落后于GLM和Kimi的67和68分。“最强”终归是厂商自己的口径。
每秒36 token是四台机器集群的成绩,别按单台去预期。
对多数人来说,走API显然更省事
想把几条线路和账单收在一起管,交给EasyAPI就够了:一个Key接入所有主流模型,统一记录调用和成本,按任务分配路由,切换只改配置不碰业务代码。自己养模型是少数团队的选择,但把调用层做薄、随时能切,是多数人都用得上的能力。
转载自 CSDN-专业IT技术社区
原文链接:https://blog.csdn.net/Pin_Qing/article/details/168114321




