Mac Studio LLM 클러스터의 실측 답부터 정리하면 이렇다. 애플이 공식 블로그에서 공개한 수치 기준, 단일 M5 Ultra에서 19.69 tok/s로 도는 Qwen 3.8(27B)를 Thunderbolt 5 RDMA로 4대 텐서 병렬을 붙이면 50.89 tok/s가 된다. 단일 M3 Ultra 대비로는 12.46에서 시작했으니 50.89 ÷ 12.46 = 4.08배다. 국내에서는 M5 Ultra 맥스튜디오가 949만 원부터, 512GB 통합 메모리 구성이 10월 말 출시 예정이다. 이 글 수치는 전부 애플 공식 블로그와 제프 가얼링·Stabilise 등 공개 자료에서 가져왔고, 이 노트북에서 직접 돌린 벤치는 없다.
RDMA over Thunderbolt 5, 무엇이고 왜 클러스터 판을 바꾸나
RDMA는 한 머신이 다른 머신의 RAM을 프로토콜 스택 없이 직접 읽는 기술이다. macOS 26.2에서 처음 도입됐고, MLX v0.30.1부터 분산 집합통신(jaccl)이 이를 사용한다. 효과는 지연에서 바로 드러난다. 제프 가얼링이 인용한 MLX PR 기준 메모리 접근 지연이 300μs에서 50μs 미만으로 떨어진다. 커뮤니티 측정(Stabilise)에서는 지연 5~9µs, 대역폭 80Gb/s가 보고됐다.
일반 이더릿으로 묶은 클러스터는 계층을 쪼개 넘기는 RPC 방식이라 노드가 늘수록 오히려 느려진다. 가얼링 테스트에서 llama.cpp RPC가 정확히 그 동작을 보였다. 반면 RDMA를 쓰는 exo 1.0과 MLX 텐서 병렬은 노드를 추가할수록 빨라진다. 여기서 성능 곡선이 갈린다.
M5 Ultra 맥스튜디오 한 대는 얼마나 빠른가
클러스터 전에 단일 기계부터 보자. 애플 공식 측정(8,192 컨텍스트)에서 M5 Ultra 단일기는 Qwen 3.8(27B) 디코딩 19.69 tok/s, Mistral Medium 3.5(128B)는 7.70 tok/s를 기록했다. 같은 테스트의 M3 Ultra 대비 디코딩 최대 1.6배, 첫 토큰까지 시간(TTFT)은 최대 4.6배 빠르다. 하드웨어 근거는 메모리 대역폭이다. M5 Ultra가 1.2TB/s, M3 Ultra가 819GB/s로 1.47배 차이다. LLM 디코딩은 사실상 대역폭에 비례한다.
전력은 최대 부하 기준 M3 Ultra 약 200W, M5 Ultra 약 300W다. 가얼링 실측에서 아이들 소비전력은 10W 미만이었다. 상시 가동 시 소음·전기세 부담이 작다는 근거다.
2대, 4대를 붙이면 속도는 어떻게 되나
애플이 MLX + RDMA로 공개한 실측을 그대로 옮긴다(8,192 컨텍스트, 디코딩 tok/s).
| 모델 | M5 단일 | 2대 텐서 | 4대 텐서 |
|---|---|---|---|
| Qwen 3.8 (27B) | 19.69 | 33.27 | 50.89 |
| Mistral Medium 3.5 (128B) | 7.70 | 13.69 | 23.37 |
| Muse Spark Open (816B) | 단일 구동 불가 | 24.99 | 36.73 |
첫 토큰까지 시간도 같이 준다. Qwen 3.8은 단일 4.1초 → 2대 3.1초 → 4대 1.7초, Mistral Medium 3.5는 24.6초 → 14.4초 → 7.5초다. 텐서 병렬은 모든 GPU가 각 레이어의 조각을 함께 읽는 방식이라 컨텍스트가 클수록 이득이 커진다. 65,536 컨텍스트에서는 썬더볼트 케이블을 1개가 아니라 2개로 묶는 것만으로 4대 클러스터의 첫 토큰 시간이 50.5초에서 40.6초로 줄었다.
모델이 단일기 RAM에 안 들어갈 때는 계층 병렬(파이프라인)을 쓴다. 애플은 816B급 Muse Spark Open(NVFP4로 약 493GB)을 두 대 이상의 머신에서 파이프라인 병렬로만 실행하도록 권고한다. 2대 파이프라인에서 15.74 tok/s, 텐서 병렬로 넘기면 24.99까지 오른다. 파이프라인은 프리필만 최대 1.8배 빨라지고 디코딩은 가장 느린 노드 속도에 묶인다.
전 세대 실측도 쌓여 있다. 가얼링의 4대 M3 Ultra 클러스터(1.5TB)에서 exo 기준 Qwen3 235B가 32 tok/s, 1조 파라미터급 Kimi K2 Thinking(활성 32B)이 약 30 tok/s를 냈다. Stabilise 집계로는 DeepSeek v3.1(671B, 8비트) 약 25 tok/s, Devstral 123B 4비트가 단일 9.2에서 클러스터 22 tok/s로 올랐다. 다만 HPL 같은 순수 연산은 4대를 묶어도 1.3에서 3.7 테라플롭스로 3배 미만에 그쳤다 — 클러스터가 모든 워크로드를 선형으로 늘리진 않는다.
512GB 통합 메모리에 어떤 모델이 들어가나
단일 512GB 기준 애플 공식 답변: Qwen 3.8(27B)와 Mistral Medium 3.5(128B)는 한 대에서 돌린다. 대형 컨텍스트에서 실제 RAM 사용량은 Qwen이 최대 68GB, Mistral이 158GB였다. Kimi K2급 600GB+ 모델은 한 대에 아예 안 올라가고, 가얼링도 단일 맥에서는 구동할 수 없다고 확인한 구간이다. VRAM 계산의 기본은 모델별 필요 VRAM 표에서 이어서 확인할 수 있다.
국내 가격은? GPU 조립과 비교하면 얼마 차이인가
애플 한국 기준 맥스튜디오는 M5 Max가 429만 원(교육 394만 9천 원)부터, M5 Ultra가 949만 원(교육 879만 9천 원)부터다. 512GB 구성은 10월 말 출시 예정이라 오늘 기준으로 주문 가능한 단계다. 미국 실측가 기준으로는 512GB 구성 한 대가 $11,699, 4대 1.5TB 스택이 약 $40,000였다.
GPU 쪽 국내 시세와 붙여 보자. 자체 수집(10-26) 기준 RTX 5090 중간값은 9,899,000원(n=5), RTX 5080은 2,399,000원(n=9)이다(최근 시세 추적). M5 Ultra 4대 기본 구성은 9,490,000 × 4 = 37,960,000원. 같은 돈이면 RTX 5090을 3대 살 수 있는 가격이지만, 5090 한 대의 VRAM은 32GB라 Kimi K2급 모델은 아예 로딩이 안 된다. 70B급을 조용히 상시 가동하는 것이 목표라면 Mac Studio 쪽 수학적 우위는 VRAM 총량에서 나온다. 발열·소음 제약을 고려한 비교는 llama.cpp vs MLX 실측 정리에서 이어간다.
직접 클러스터를 꾸릴 때 주의할 점 5가지
첫째, RDMA는 켜야 생긴다. 복구 모드로 부팅해 터미널에서 rdma_ctl enable을 실행해야 한다. 둘째, 썬더볼트 5 스위치가 없어서 현재는 최대 4대까지 메쉬로 직접 연결한다. 셋째, 케이블은 두 개 이상 묶어야 대역폭이 찬다 — 실제로 4대 클러스터 첫 토큰이 50.5초에서 40.6초로 줄었다. 넷째, 호스트는 Thunderbolt 5가 달린 기계여야 한다: M4 Pro 맥 미니, M4 Max 맥스튜디오·맥북 프로, M3 Ultra 맥스튜디오가 대상이다. 다섯째, macOS 클러스터 관리는 리눅스보다 무겁다 — 시스템 업데이트조차 SSH로 못 하고 GUI 클릭이 필요하다.
자주 묻는 질문
클러스터 없이 512GB 한 대라도 의미가 있나?
있다. Qwen 3.8(27B)가 단일기에서 19.69 tok/s로 돌아가고, 65,536 컨텍스트에서 KV 캐시를 한 대가 혼자 감당한다. 128B급 Mistral도 단일 구동 목록에 들어 있다.
llama.cpp 클러스터와 뭐가 다른가?
llama.cpp는 RPC로 계층을 나눠 맡는 방식이라 노드를 늘리면 성능이 떨어진다. RDMA를 쓰는 exo·MLX 텐서 병렬은 반대로 노드를 늘릴수록 빨라진다(같은 Qwen3 235B 테스트에서 갈린다).
전력비는 실제로 얼마나 되나?
M5 Ultra 한 대가 최대 부하 약 300W, 아이들 10W 미만이다. 4대 최대치로 잡아도 300 × 4 = 1,200W고, 실제 상시 부하는 이보다 훨씬 낮다.
M5 Ultra는 언제 살 수 있나?
국내에서 M5 Ultra 기본형은 판매 중(949만 원부터)이고, 512GB 통합 메모리 구성은 10월 말 출시 예정이다.
출처: 제조사 공식 스펙과 공개 유통 가격 기준. 가격·스펙은 변동될 수 있으므로 구매 전 최신 정보를 확인하세요.
답글 남기기