MODEL FIT TODAY
가장 많이 검색되는 실측 속도표입니다. 카드 가격 최저 구간(524,000원)부터 매칭했습니다. tok/s 상한은 대역폭÷모델 크기로 계산됩니다 — 예: 672GB/s ÷ 5GB(8B Q4) ≒ 134 tok/s 이론치, 실측 75% 수준.
| 모델 | M5 Max 실측 | 가중치 | 필요 VRAM |
|---|---|---|---|
| qwen3-coder:30b | 146.2 tok/s | 18GB | 24GB↑ |
| gpt-oss:20b | 102.9 tok/s | 13GB | 16GB↑ |
| llama3.1:8b | 100.8 tok/s | 4.9GB | 12GB↑ |
| qwen3.6:35b-a3b | 95.1 tok/s | 23GB | 24GB↑ |
| gemma4:26b MLX | 88.1 tok/s | 52GB | 32GB↑ |
| deepseek-r1:8b | 79.7 tok/s | 5.2GB | 12GB↑ |
| qwen3.5:9b | 73.0 tok/s | 6.6GB | 12GB↑ |
| phi4:14b | 45.8 tok/s | 9.1GB | 12GB↑ |
| mistral-small:24b | 28.0 tok/s | 14GB | 16GB↑ |
| deepseek-r1:70b | 10.3 tok/s | 43GB | 32GB↑ |
필요 VRAM은 가중치 + KV 캐시 합산입니다. 긴 컨텍스트는 이보다 더 먹습니다. 양자화별 파일 크기는 양자화 사다리.
자주 묻는 질문
tok/s 몇부터 실사용 가능한가요?
A. 채팅용은 20 tok/s 이상(가독 속도 약 5초/문장), 코딩 에이전트는 40 tok/s 이상을 권장합니다. 표에서 필요 VRAM 대비 한 구간 아래 카드면 대부분 이 기준 아래로 떨어집니다.
내 카드에서 뭐가 돌아?
A. 필요 VRAM 컬럼과 카드 용량을 비교하세요. 12GB는 8B~20B Q4, 24GB는 70B Q4 라인까지.
속도 표 기준이 Mac 아닌데?
A. CUDA 카드는 대역폭 비례 환산이 유효합니다. 5070 672GB/s는 M5 Max 대비 약 1/3로 환산됩니다.
코딩엔 뭐가요?
A. qwen3-coder:30b Q4가 146 tok/s로 실측 1위입니다. 18GB 카드가 최소선입니다.
답글 남기기