GPU 시세 · VRAM · 온디바이스 AI

RTX 5070 Ti 16GB 로컬 LLM — 16GB 구간 균형점 최적 후보 (2026년 10월)

· 읽는 시간 5분 · 데일리 딥러닝

16GB 구간 균형점 최적 후보. GB당 가격·대역폭·전기세 3축으로 본 현재 국내 판매 1위 카드의 실체.

이 카드에 올라가는 모델 (16종 전수 중)

모델 tok/s
(M5 Max 기준)
VRAM TTFT 출처
gpt-oss:20b 102.9 13GB 14.2s 실측
llama3.1:8b 100.8 4.9GB 0.1s 실측
deepseek-r1:8b 79.7 5.2GB 44.4s 실측
qwen3.5:9b 73.0 6.6GB 0.1s 실측
phi4:14b 45.8 9.1GB 14.8s 실측
mistral-small:24b 28.0 14GB 18.2s 실측

16종 중 10종 탈락. 위 표는 M5 Max 실측 기준이며, VRAM 용량 판정은 NVIDIA에서도 동일하게 적용됩니다.

스펙으로 보는 체감

  • 메모리 대역폭 896 GB/s → 8B Q4 예상 약 103 tok/s (대역폭 기준 추정, 실측 아님)
  • TDP 300W → 8시간/일 돌리면 전기세 월 약 10,800원
  • VRAM 16GB → 실전 한계: 24B급 Q4까지

실거래가

오늘치 다나와 실거래: 중앙값 1,946,100원, 최저 1,579,000원 (n=15) · GB당 약 121,631원

시리즈 전체 — RTX 3050~5090 전 모델 · VRAM Fit Matrix

기준

VRAM·대역폭·TDP는 NVIDIA 공개 스펙, 적합표의 tok/s·TTFT는 M5 Max 128GB(MLX/Ollama) 실측값입니다. “올라가는가”는 VRAM 용량으로, “얼마나 빠른가”는 대역폭으로 결정됩니다. 전기세는 8시간/일 × kWh당 150원 근사. 카드 간 교차 비교는 VRAM Fit Matrix.

댓글 남기기