구형·엔트리 카드 사용자의 최빈 질문: 8GB에 뭘 올릴 수 있나. 16종 전수 테이블에서 8GB 이하에 올라가는 것만 추렸습니다.
| 모델 | tok/s (M5 Max 기준) |
VRAM | TTFT | 출처 |
|---|---|---|---|---|
llama3.1:8b |
100.8 | 4.9GB | 0.1s | 실측 |
deepseek-r1:8b |
79.7 | 5.2GB | 44.4s | 실측 |
qwen3.5:9b |
73.0 | 6.6GB | 0.1s | 실측 |
결론: 8GB는 8B급 Q4 양자화까지. 12B부터는 포기하세요 (16종 중 13종 탈락). 요즘 8GB 신규 카드(5050/5060)는 로컬 LLM 목적이라면 12GB 이상 대비 근거가 약합니다.
해당 카드 실거래: RTX 5050 8GB 실거래central 567,100원 (최저 526,400원, n=5) · RTX 5060 8GB 실거래central 757,000원 (최저 696,000원, n=5) · RTX 5060 Ti 8GB 실거래central 838,000원 (최저 800,000원, n=8)
시리즈 전체 — VRAM 12GB 그래픽카드에서 도는 로컬 LL · VRAM 16GB 그래픽카드에서 도는 로컬 LL · VRAM 24GB 그래픽카드에서 도는 로컬 LL · VRAM 32GB 그래픽카드에서 도는 로컬 LL · Mac 통합메모리 64GB에서 도는 로컬 LLM · Mac 통합메모리 128GB에서 도는 로컬 LL · 내 카드에 뭐 돌아가나 — VRAM 용량별 로컬 · VRAM Fit Matrix
측정 기준
tok/s·VRAM·TTFT는 M5 Max 128GB(MLX/Ollama) 실측값입니다. NVIDIA 카드는 메모리 대역폭 기준으로 체감 속도가 달라지지만, “올라가는가/안 올라가는가”는 VRAM 용량만으로 결정되므로 이 표의 적합 판정은 그대로 적용됩니다. 속도 절대값이 궁금한 카드별 환산은 VRAM Fit Matrix에서. 시세는 다나와 여러 판매처 중앙값(한국 실거래)입니다.
댓글 남기기