GPU 시세 · VRAM · 온디바이스 AI

RTX 3070 로컬 LLM — 448GB/s가 8GB에 갇힌 전형 (2026년 10월)

· 읽는 시간 5분 · 데일리 딥러닝

448GB/s가 8GB에 갇힌 전형. 속도 여력은 있는데 통이 작아서 모델이 안 들어가는, 2026년 8GB 카드의 공통 운명.

이 카드에 올라가는 모델 (16종 전수 중)

모델 tok/s
(M5 Max 기준)
VRAM TTFT 출처
llama3.1:8b 100.8 4.9GB 0.1s 실측
deepseek-r1:8b 79.7 5.2GB 44.4s 실측
qwen3.5:9b 73.0 6.6GB 0.1s 실측

16종 중 13종 탈락. 위 표는 M5 Max 실측 기준이며, VRAM 용량 판정은 NVIDIA에서도 동일하게 적용됩니다.

스펙으로 보는 체감

  • 메모리 대역폭 448 GB/s → 8B Q4 예상 약 51 tok/s (대역폭 기준 추정, 실측 아님)
  • TDP 220W → 8시간/일 돌리면 전기세 월 약 7,920원
  • VRAM 8GB → 실전 한계: 8B급 Q4까지

실거래가

이 카드는 우리 시세 추적 대상이 아닙니다 — 매수 전 다나와에서 오늘치 확인을 권합니다.

시리즈 전체 — RTX 3050~5090 전 모델 · VRAM Fit Matrix

기준

VRAM·대역폭·TDP는 NVIDIA 공개 스펙, 적합표의 tok/s·TTFT는 M5 Max 128GB(MLX/Ollama) 실측값입니다. “올라가는가”는 VRAM 용량으로, “얼마나 빠른가”는 대역폭으로 결정됩니다. 전기세는 8시간/일 × kWh당 150원 근사. 카드 간 교차 비교는 VRAM Fit Matrix.

댓글 남기기