Qwen3.8 MTP MLX — 같은 작업 1.7배, 최대 2.69배

Qwen3.8 MTP MLX 속도 실측 답부터 말씀드립니다. 같은 M5 Max 128GB, 같은 코딩 태스크에서 일반 디코드는 초당 43.8토큰, MTP 추측 디코딩은 초당 73.5토큰으로 1.68배, 대략 1.7배 빨라집니다. 모델 가중치는 그대로이고 실행 경로만 바꾼 결과입니다. Qwen 3.6 27B에서는 일반 디코드 대비 2.69배(초당 81.74토큰) 공식 기록도 있습니다. 아래 숫자는 전부 MTPLX 공식 벤치마크와 허깅페이스 모델 카드, 오픈소스 저자 블로그의 공개 실측이고 이 노트북에서 직접 돌린 실험은 없습니다.

MTP를 켜면 Qwen3.8은 얼마나 빨라지나

측정 주체·조건이 제각각이라 단일 배율 숫자보다 표가 정확합니다.

가장 정직한 A/B는 HF 카드에 있습니다. 같은 기계·태스크에 공식 샘플링(temperature 1.0, top-p 0.95, top-k 20)을 적용한 비교로, 산수는 73.5 ÷ 43.8 = 1.68입니다. 30초 걸릴 작업이 약 18초로 줄어드는 계산입니다.

왜 초안 모델 없이 MLX에서 1.7배나 빨라지나

MTP(Multi-Token Prediction)는 Qwen3.8이 학습 단계부터 다음 토큰을 미리 예측하는 헤드를 내장한 구조입니다. 일반 추측 디코딩은 초안용 소형 모델을 따로 돌리지만, MTP 경로는 자기 자신의 헤드로 초안을 만들고 기본 헤드 하나로 검증합니다. MTPLX는 추측 깊이를 기계마다 자동 조정하고 뉴럴 액셀러레이터 경로를 붙였습니다. 검증은 정확 기각 샘플링이라 통과 못 한 토큰은 버리고 기본 경로로 다시 뽑습니다. 트리 추측(mlx-tree-spec)까지 올리면 M5 Max에서 Qwen3.8-27B 4bit 기준 초당 약 76토큰까지 보고됐는데, 뉴럴 액셀러레이터가 16토큰 트리 검증을 단일 토큰만큼 싸게 처리해야 성립해 M5 전용이고 구형에서는 폴백합니다.

장문 컨텍스트에서 프리필·첫 토큰 지연은 얼마나 좋아지나

아래는 MTP 경로 버전 업데이트(2.11.3 → 2.12.0)에서 공개된 숫자입니다. 장문 체감을 좌우하는 건 프리필이라 함께 봅니다. M5 Max 128GB, 컨텍스트 창 262,144토큰 조건입니다.

65k 컨텍스트에서 첫 토큰 대기가 85.5 − 60.1 = 25.4초 줄고 프리필은 1,453 ÷ 786 = 1.85배가 됐습니다. 다만 컨텍스트가 길어질수록 MTP 이득 자체는 줄어듭니다. 같은 Flash Next 기준 약 9k에서 초당 79.3토큰, 약 109k에서 61.8토큰, 약 200k에서 50.3토큰입니다.

MTP를 켜면 출력 품질이 바뀌나

정확 기각 샘플링을 쓰기 때문에 이론상 출력 분포는 추측 없이 돌릴 때와 동일합니다. 실측도 뒷받침합니다. MTPLX 제작자는 temperature 1, top-p 0.95, top-k 20에서 고속 경로가 일반 경로와 노이즈 범위 내에서 일치한다고 보고했고, Qwen 3.8 27B 4bit 팩은 bf16 기준 모델과 top-1 토큰 일치율 96.0%를 기록했습니다. 예외는 greedy입니다. 트리 추측 경로는 bf16 근소 차이(near-tie)가 뒤집혀 일반 디코드와 토큰 단위로 동일하지 않을 수 있다는 게 mlx-tree-spec 저자의 명시입니다. 재현성 테스트를 greedy로 고집한다면 plain 경로와 두 번 확인하세요.

MTP MLX, 어떤 맥에서 돌아가나

요구선은 Apple Silicon M1 이상, macOS 14 이상, 최소 메모리 16GB입니다. 다만 모델마다 크기가 다릅니다. Qwen3.8 Flash Next 125B-A6B의 Optimized Speed 팩은 다운로드 115.1GB(약 32GB n-gram 표 포함)에 서빙 피크 87GiB라 128GB 맥 권장입니다. 같은 계열 Bare Speed 빌드는 피크 78GiB로 96GB 기계에도 들어갑니다. 한 급 아래 ternary Bonsai 2 27B는 피크 11.4GB로 M5 Max 기준 초당 64.4토큰을 내고, 4bit Qwen3.8 27B(초당 52.6토큰)보다 빠르고 메모리는 절반입니다. GPU 진영에서 8GB 카드로 Flash Next를 돌리는 법은 Qwen3.8 Flash Next 8GB GGUF 가이드를 보세요.

맥이 아니라 그래픽카드로 쓴다면

MTP 실측은 MLX 쪽 자료가 압도적이고 NVIDIA 진영은 아직 llama.cpp 이식 단계(단일 사용자 1.21배 보고)입니다. 카드 진영의 판단 기준은 GB당 단가입니다. 2026-11-11 15시(KST) 국내 수집 기준입니다.

GB당 단가로 환산하면 12GB가 최저입니다. RTX 5070은 1,344,600 ÷ 12 = 112,050원/GB, RTX 4090 중고는 3,200,000 ÷ 24 = 약 133,333원/GB, RTX 5080은 2,869,000 ÷ 16 = 약 179,312원/GB입니다. Flash Next급 초대형 모델을 통째로 올리는 용도는 128GB 통합 메모리가 구조상 유리합니다. 카드 운영점은 Qwen3.8-27B VRAM 양자화 가이드와 llama.cpp vs MLX 실측 비교를 보세요.

자주 묻는 질문

초안 모델(추론용 소형 모델)을 따로 받아야 하나요

아니오. MTP는 Qwen3.8이 내장한 예측 헤드를 그대로 씁니다. MTPLX는 최적화된 추측 경로가 없는 모델은 조용한 폴백 대신 서빙 자체를 거부합니다. 설치는 pip install mtplx 후 모델 ID로 serve하는 방식입니다.

M5가 아니면 이득이 없나요

MTP 자체는 M1 이상에서 동작하고 Mac mini(M4) 실측도 약 1.6배, 최대 2.24배가 보고됐습니다. 다만 트리 추측은 뉴럴 액셀러레이터 덕에 M5에서 최대이고, 구형에서는 느린 경로로 폴백합니다.

메모리 128GB가 필수인가요

Flash Next Optimized Speed 팩(피크 87GiB) 기준 권장선입니다. Bare Speed 빌드는 피크 78GiB로 96GB에서도 돌고, 27B급 ternary 팩은 피크 11.4GB라 한 급 아래 맥에서도 됩니다.

수치가 벤치마크 조건으로 부풀려지진 않았나요

두 가지를 확인하세요. 초당 125.8토큰 기록은 프롬프트 18,539토큰 중 18,364이 캐시된 요청이라 첫 요청 수치가 아니고, HF 카드의 1.7배도 기본값이 아닌 공식 샘플링(temp 1.0) 기준입니다. 조건이 명시된 A/B 숫자를 기준으로 삼으세요.

출처: MTPLX 공식 벤치마크 · Hugging Face 모델 카드 · DevoxxGenie 기술 블로그 · mlx-tree-spec (r/MacStudio 보고). 성능 수치는 전부 공개 실측 인용이며 본 블로그의 로컬 실행이 아닙니다. 국내 시세는 자체 수집(2026-11-11).

출처: 제조사 공식 스펙과 공개 유통 가격 기준. 가격·스펙은 변동될 수 있으므로 구매 전 최신 정보를 확인하세요.