M4 Mac Mini同士をThunderboltケーブルで繋いでコンピューティングクラスターを構成するのめちゃいいな。卓上プチスパコンだ。
X (formerly Twitter)Alex Cheema - e/acc (@alexocheema) on XM4 Mac Mini AI Cluster
Uses @exolabs with Thunderbolt 5 interconnect (80Gbps) to run LLMs distributed across 4 M4 Pro Mac Minis.
The cluster is small (iPhone for reference). It’s running Nemotron 70B at 8 tok/sec and scales to Llama 405B (benchmarks soon).
