VRAM 12GB LLM 카드별 실측 적합표 (2026년 11월판)

VRAM 12GB LLM 로딩 가능 여부는 대역폭이 아니라 용량만으로 결정됩니다. Q4 양자화 기준 qwen3:8b(5.0GB)·llama3.1:8b(4.9GB)는 여유, phi4:14b(9.1GB)는 아슬아슬이고, 카드별 차이는 속도와 가격에서 납니다. 아래 카드별 적합표와 환산식은 2026년 11월 12일 시세·공개 실측 기준입니다.

VRAM 12GB LLM 카드별 적합표 — 3060·B580·4070·5070

카드	대역폭 (공식)	시세 (기준일)	qwen3:8b Q4 환산 tok/s	phi4:14b Q4 환산 tok/s	생태계
RTX 3060 12GB	360 GB/s	중앙값 539,000원 (자사 추적 10/20, n=5)	약 50	약 30	CUDA 지원
Intel Arc B580 12GB	456 GB/s	최저 423,990원 (다나와 11/12, 일시 품절)	약 64	약 38	Vulkan·SYCL (CUDA 미지원)
RTX 4070 12GB	504 GB/s	신품 판매점 0개 (다나와 11/12) — 중고만	약 71	약 42	CUDA 지원
RTX 5070 12GB	672 GB/s	중앙값 1,302,000원·최저 1,221,100원 (자사 추적 11/12, n=9)	약 94	약 56	CUDA·FP8 지원

네 카드 모두 용량이 12GB로 동일하므로 위 모델표의 적합 판정(올라가는가/안 올라가는가)은 카드와 무관하게 같습니다. 차이가 나는 것은 세 가지뿐입니다: 대역폭(속도), GB당 가격, CUDA 지원 여부. GB당 가격은 B580이 423,990원 ÷ 12 = 약 35,300원으로 최저, 3060이 539,000 ÷ 12 = 약 44,900원, 5070 중앙값이 1,302,000 ÷ 12 = 약 108,500원입니다. B580은 TechPowerUp 보도(11/3)대로 단종 검토·일시 품절이라 재고 확인이 전제이고, CUDA가 안 되어 llama.cpp·Ollama는 Vulkan으로 동작하지만 CUDA 전용 학습 라이브러리는 대상이 아닙니다.

대역폭으로 속도를 환산하는 식

LLM 디코드 속도는 사실상 메모리 대역폭에 비례합니다. 기준점은 공개 실측치 — RTX 4090(1,008 GB/s)에서 qwen3:8b 141.3 tok/s, phi4:14b 83.4 tok/s (Hardware Corner llama-bench·Microcenter 수집)입니다. 환산식: 141.3 × (카드 대역폭 ÷ 1,008). 예를 들어 RTX 5070은 141.3 × 672 ÷ 1,008 = 약 94 tok/s, RTX 3060은 141.3 × 360 ÷ 1,008 = 약 50 tok/s. B580의 64 tok/s는 대역폭 상한 추정이고, Vulkan 오버헤드 때문에 실측은 이보다 낮게 보고됩니다. 같은 산식으로 계산된 12GB 공개 실측 속도표 전체는 12GB 공개 실측 속도표에서, 27B급까지 포함한 양자화별 판정은 Qwen3.8-27B 양자화별 판정표에서 볼 수 있습니다.

모델별 로딩·속도 실측 (M5 Max 기준)

모델	tok/s (M5 Max 기준)	VRAM	TTFT	출처
llama3.1:8b	100.8	4.9GB	0.1s	실측
deepseek-r1:8b	79.7	5.2GB	44.4s	실측
qwen3.5:9b	73.0	6.6GB	0.1s	실측
phi4:14b	45.8	9.1GB	14.8s	실측

결론: 9B~14B급 Q4가 실전 한계 (12종 탈락). 로딩 후 남는 3~7GB는 KV 캐시, 즉 컨텍스트 길이에 쓰입니다 — qwen3:8b(5.0GB)를 올리면 약 6GB가 남아 장문 컨텍스트까지 여유 있습니다.

예산별 구매 판단 — 학생·연구실·직장인

학생(60만원 이하): B580이 재고 있으면 GB당 약 35,300원으로 최저가 진입로입니다. 단 CUDA 전용 스택(일부 학습 라이브러리·라이스)을 쓸 계획이면 신형 CUDA 카드 중 최저인 3060 12GB (중앙값 539,000원 기준)로 가세요. 연구실(130만원대): RTX 5070 — 환산 약 94 tok/s로 12GB 카드 최속, FP8 지원이라 차세대 양자화 모델까지 커버합니다. 직장인 업그레이드: 신품 4070은 다나와 판매점 0개로 소진돼 중고만 남았습니다. 중고는 상태·보증 편차가 크니 구매 시점 실거래가를 별도 확인해야 하며, 12GB 업그레이드 효과가 가장 큰 건 8GB 카드 사용자입니다 — 로딩 가능 모델 수가 두 배로 늘어납니다.

시리즈 전체 — VRAM 8GB 그래픽카드에서 도는 로컬 LLM · VRAM 16GB 그래픽카드에서 도는 로컬 LLM · VRAM 24GB 그래픽카드에서 도는 로컬 LLM · VRAM 32GB 그래픽카드에서 도는 로컬 LLM · Mac 통합메모리 64GB에서 도는 로컬 LLM · Mac 통합메모리 128GB에서 도는 로컬 LLM · 내 카드에 뭐 돌아가나 — VRAM 용량별 로컬 LLM 허브 · VRAM Fit Matrix

자주 묻는 질문

VRAM 12GB로 LLM 추론이 실제로 되나요?

됩니다. Q4 양자화 기준 8B~14B급이 실전이고, qwen3:8b·llama3.1:8b는 5GB 내외로 떠서 남는 용량이 전부 컨텍스트(KV 캐시)에 돌아갑니다. 32B급은 Q2 이하 초저양자화만 올라가고 속도가 10 tok/s 아래로 떨어져 실사용이 어렵습니다.

2026년에 RTX 3060 12GB를 사도 되나요?

저예산 신형 CUDA 진입로로는 여전히 유효합니다. 자사 추적 중앙값 539,000원(10/20 기준)은 GB당 약 44,900원, qwen3:8b 환산 약 50 tok/s로 채팅·요약 용도엔 충분합니다. 학습 파인튜닝까지 하려면 VRAM 여유가 큰 16GB 이상을 권합니다.

Arc B580은 LLM용으로 쓸만 한가요?

GB당 약 35,300원(423,990원)으로 12GB 최저가이고 llama.cpp·Ollama가 Vulkan으로 동작합니다. 다만 CUDA 미지원이라 CUDA 전용 라이브러리·툴체인은 호환 여부를 개별 확인해야 하고, 단종 검토 보도(11/3) 이후 재고 불안정 — 재입고 시점에만 살 수 있습니다.

12GB에서 Qwen3.8-27B는 되나요?

IQ2급 초저양자화만 들어갑니다. 공개 실측으로 RTX 4070 Ti에서 UD-IQ2_XXS가 약 43.6 tok/s인 반면, IQ4_XS 오프로드는 약 6 tok/s까지 떨어져 체감이 불가능합니다. 상세 판정은 Qwen3.8-27B 12GB 판정표를 보세요.

2026-11-12 개정: 카드별 적합표·대역폭 환산식 전치, 시세를 11월 12일 기준으로 갱신 (최초 게재 2026-10-02).

출처: 대역폭·전력은 제조사 공식 스펙, 시세는 다나와 최저가(11/12)와 자사 30일 추적 중앙값, CUDA 속도는 Hardware Corner·Microcenter 공개 실측(M5 Max 수치는 자사 실측) 기준. 가격·재고는 변동될 수 있으므로 구매 전 최신 정보를 확인하세요.