四台Mac Studio合体变身AI集群,1.5TB内存、硬件本钱近30万

12月25日消息，近日知名工程师Jeff Geerling完成了一项挑战，利用macOS 26.2最新的系统特性，将四台M3 Ultra Mac Studio成功合体，打造出一台拥有1.5TB统一内存的AI计算集群。

这次集群成功的关键在于macOS 26.2引入的一项核心功能RDMA over Thunderbolt 5，通过Thunderbolt 5接口，允许一台Mac直接读取另一台的内存，无需CPU干预。

在Geekbench 6的多核测试中，该集群轻松超越了Dell Pro Max with GB10和Framework Desktop，双精度浮点数性能更是达到了1TFLOPS以上，而闲置功耗低于10W。

在AI推理方面，单机运行Llama 3.2 3B模型时，每秒可处理154.6个token；在运行大型Llama 3.1 70B模型时，每秒可维持14.1个token，这两个测试的性能都远超其他对手。

此外，在尝试运行DeepSeek R1 671B超大型模型时，其他系统均无法正常运行，而Mac Studio 集群凭借其1.5TB的统一内存，完成了这一挑战。

RDMA over Thunderbolt 5在这个AI集群中发挥了关键作用，在启用RDMA后，内存访问延迟从TCP的300微秒降至50微秒以下。

在使用exo系统测试Qwen3 235B时，四台设备每秒可处理31.9个token，比llama.cpp TCP快了一倍以上；DeepSeek V3.1更是达到了每秒32.5个token。

虽然RDMA表现出色，但在高负荷时偶尔会出现系统崩溃的情况

另外值得注意的是，由Mac Studio组成的AI集群总硬件成本约为40000美元（约合人民币28万元），相比其他两个平台，这一价格更贵。