Qwen3.8-27B VRAM 문제가 12GB 카드에서 갈리는 답은 두 개입니다. 일상 대화용은 UD-IQ2_XXS로, RTX 4070 Ti에서 레이어 66개를 전부 GPU에 올려 생성 초당 43.643토큰을 기록했습니다. 품질 우선이면 UD-IQ4_XS를 일부 오프로드해 올리되 속도는 초당 5.977토큰으로 떨어집니다. FP8과 NVFP4는 애초에 12GB에 들어가지 않습니다. 모든 숫자는 공개 실측 벤치마크와 11월 10일 국내 시세에서 가져왔고, 제가 직접 돌린 실험은 없습니다.
Qwen3.8-27B VRAM, 양자화별로 몇 GB가 필요한가
RTX 5080(16GB)로 21종 이상을 llama-perplexity KL 발산 방식으로 벤치마크한 r/LocalLLaMA 공개 자료의 파일 크기(MTP 헤드 제외) 기준입니다.
| 양자화 | 파일 크기 | 12GB 판정 |
|---|---|---|
| UD-Q4_K_XL (UD3) | 16.1GiB | 16GB도 불가, 제외 |
| esatapedico NVFP4 GGUF | 14.3GiB | 오프로드 필수 |
| bartowski IQ4_XS | 14.2GiB | 오프로드 필수 |
| UD-IQ4_XS (UD3) | 13.3GiB | 오프로드 필수 |
| bartowski Q3_K_M | 12.3GiB | 경계선 |
| UD-Q3_K_XL (UD3) | 11.9GiB | 적재 가능, KV 여유 적음 |
| UD-IQ3_XXS (UD2) | 10.8GiB | 적재 가능 |
| UD-Q2_K_XL (UD2) | 9.6GiB | 여유 |
| ISTA GSQ-RCO-IQ3_XXS | 9.4GiB | 여유 |
파일 크기와 필요 VRAM은 다른 숫자입니다. KV 캐시가 파일 위에 얹히기 때문입니다. 자사가 10월에 실측한 unsloth 저장소 크기(UD-Q4_K_XL 17.56GB, UD-IQ3_XXS 10.93GB)는 리비전에 따라 위 표와 차이가 있으니 구매 판단은 큰 쪽으로 잡으세요. 다른 모델까지 포함한 전체 비교는 로컬 LLM 실행표에 있습니다.
12GB 그래픽카드에서 Qwen3.8-27B가 실제로 돌아가나
돌아갑니다. RTX 4070 Ti 12GB(총 VRAM 12,282 MiB)로 llama.cpp b10448 고정 프로토콜을 지킨 커뮤니티 연구가 있습니다. UD-IQ2_XXS는 레이어 66/66을 전부 GPU에 올리고 피크 VRAM 8,976 MiB를 기록해, 12,282 − 8,976 = 3,306 MiB가 남습니다. UD-Q2_K_XL도 전체 적재가 되지만 1,583 MiB를 더 먹습니다. 자체 태스크 24개 검정에서 Q2가 10개, IQ2가 9개를 통과해 유의 차가 없었습니다(p = 1.0).
IQ2와 IQ4_XS, 12GB에서 속도 차이가 얼마나 나나
| 운영점 (4070 Ti 12GB) | 생성 속도 |
|---|---|
| UD-IQ2_XXS · 컨텍스트 4K · GPU 전체 적재 | 43.643 tok/s |
| UD-Q2_K_XL · 컨텍스트 4K · GPU 전체 적재 | 38.030 tok/s |
| UD-IQ2_XXS · 컨텍스트 16K | 39.201 tok/s |
| IQ4_XS · 컨텍스트 4K · 66레이어 중 45개만 GPU | 5.977 tok/s |
속도 차는 43.643 ÷ 5.977 = 원문 표기 그대로 7.302배입니다. IQ4_XS는 약 64K 컨텍스트에서 첫 토큰까지 약 301초, 디코드 초당 1.57토큰으로 연구 용량입니다. RTX 3060 12GB 한 장에서 Q2급 양자화가 초당 2토큰이라는 보고도 있고, 두 장에 Q5를 나눠 담은 이용자는 65K 컨텍스트로 초당 30토큰 수준을 냈습니다.
q4·FP8·NVFP4 중 12GB에 들어오는 것은 뭔가
셋 다 12GB에는 안 들어갑니다. UD-Q4_K_XL은 16.1GiB로 아예 16GB 카드에서도 ‘적재 불가’ 표기가 붙은 등급입니다. FP8 계열을 포함한 8비트 파일(Q8_0)은 자사 실측 29.05GB입니다. NVIDIA 공식 혼합 정밀도 체크포인트(MLP와 lm_head NVFP4, attention FP8)가 커뮤니티 변환본 기준 약 21GB로 보고됐지만 지원 하드웨어가 Blackwell뿐입니다. RTX 40 시리즈에는 네이티브 FP4 경로가 없어 후보에서 빠집니다. GGUF로 변환된 NVFP4(esatapedico, 14.3GiB)는 오프로드 전제로만 가능합니다.
컨텍스트는 12GB에서 얼마까지 쌓나
4070 Ti 연구의 IQ2 실측 사다리입니다. 4K에서 피크 VRAM 9,028 MiB에 여유 2,967 MiB, 16K(프롬프트 12,831토큰)에서 피크 9,488 MiB에 여유 2,507 MiB. 컨텍스트를 4배로 늘려도 디코드는 4.676%만 느려지고 피크 VRAM은 460 MiB만 늘었습니다. 이 저자는 현 설정에서 16K를 최대 합리적 값으로 못 박았습니다. 장문은 IQ4_XS에 Q4_0 KV 캐시를 조합한 오프로드 운영점에서 60,015토큰 검색 시험 3/3 통과 기록이 있고, bartowski IQ4_XS도 ctk·ctv q4_0 조건이면 약 60K 컨텍스트에 들어갑니다. 16GB 카드에서 ISTA IQ3_S(9.4GiB)로 180K까지 짠다는 보고도 있습니다.
12GB 카드로 뭘 사나 (국내 시세)
2026-11-10 15시(KST) 다나와 수집 기준입니다.
| 카드 | 최저가 | 중위값 | 표본(n) |
|---|---|---|---|
| RTX 5070 12GB | 1,199,000원 | 1,404,000원 | 12개 |
| RTX 5070 Ti 16GB | 1,579,000원 | 2,292,000원 | 12개 |
| RTX 5080 16GB | 2,399,000원 | 2,999,000원 | 9개 |
| RTX 4090 24GB 중고 | 3,500,000원 | 3,520,000원 | 3개 (표본 적음) |
| RTX 3090 24GB 중고 | 1,506,100원 | 1,506,100원 | 1개 (표본 적음) |
GB당 단가로 환산하면 역전이 성립합니다. RTX 5070은 1,404,000 ÷ 12 = 117,000원/GB인데 RTX 5070 Ti는 2,292,000 ÷ 16 = 143,250원/GB로 오히려 비쌉니다. 12GB 버팀이 확실하면 5070이 최저 비용이고, Q4_K_XL을 통째로 올리려면 16GB 이상에서 비용이 계단식으로 뜁니다. RTX 3060 12GB는 오늘 표본이 잡히지 않았습니다. 자매 글로 Gemma 4 26B VRAM 가이드와 Qwen 27B VRAM 실행표가 있습니다.
MTP를 켜면 12GB에서 이득인가
IQ2 기준 실측으로 산문이 47.284%, 코드가 92.651% 늘었고 피크 VRAM은 554~568 MiB 더 썼습니다. 8,976 + 560 = 약 9,536 MiB로 12GB 안입니다. 다만 산문 출력이 토큰 16부터 갈라져 저자는 기본 끄기를 권하고, 오프로드 상태 IQ4_XS는 산문이 0.519% 오르는 데 그쳤습니다.
자주 묻는 질문
RTX 3060 12GB에서도 돌아가나요
2비트 구간은 전체 적재로 돌아갑니다. 다만 대역폭 덕에 커뮤니티 보고 기준 단일 카드에서 Q2급 양자화가 초당 2토큰 수준으로, 4070 Ti의 43.643토큰과 체감이 완전히 다릅니다.
품질 손실이 가장 적은 12GB용 양자화는?
KL 발산 기준 bartowski IQ4_XS(top-p 일치율 95.850%)가 최상위이고, 자체 태스크에서도 13/24로 가장 많이 통과했습니다. 대신 12GB에서는 오프로드 필수라 속도가 초당 5.977토큰입니다.
NVFP4는 RTX 4070에서 못 쓰나요
NVIDIA 공식 체크포인트의 지원 하드웨어는 Blackwell로만 표기돼 있습니다. 파일 크기(약 21GB)도 12GB를 넘으니 두 번 탈락입니다.
컨텍스트 16K면 얼마나 느려지나요
IQ2 전체 적재 기준 4K에서 초당 41.124토큰, 16K에서 39.201토큰으로 4.676% 감소입니다. 대신 첫 토큰 대기(TTFT)가 2,692.911밀리초에서 11,118.874밀리초로 4배가량 늘어 체감 지연은 여기서 갈립니다.
답글 남기기