Gemma 4 26B VRAM 요구는 양자화 선택에서 갈린다. 가중치 파일만 9.66GB에서 50.51GB까지 27종이 공개돼 있고, 기본 권장인 Q4_K_M은 17.04GB라 VRAM 16GB 카드에서는 컨텍스트 캐시까지 얹으면 빠듯하다. 허깅페이스에 공개된 GGUF 실측 파일 크기와 2026년 11월 8일 다나와 시세로 ‘몇 GB 카드를 사야 하나’까지 답한다.
Gemma 4 26B VRAM 요구는 뭐로 결정되나
Gemma 4 26B-A4B는 30개 레이어에 라우팅 전문가 128개를 두고 토큰마다 약 4B만 활성화하는 MoE다. 연산량은 작지만 메모리에는 전문가 전체를 올려야 해서, 카드 용량을 결정하는 건 연산이 아니라 파일 크기다. 최대 컨텍스트는 262,144토큰이고 텍스트·이미지를 지원한다. Unsloth가 제시하는 기준은 총 메모리(RAM+VRAM 또는 통합 메모리)가 받은 양자화 파일 크기보다 큰 것. 모자라면 llama.cpp가 RAM·디스크로 오프로드해 돌아가긴 하지만 속도가 떨어진다. 즉 ‘돌아가나’는 총 메모리, ‘빨리 돌리나’는 VRAM의 문제다.
양자화별 GGUF 파일 크기는 얼마인가
구글 원본을 bartowski가 llama.cpp b8746으로 quantize한 파일 실측값이다.
| 양자화 | 파일 크기 | 설명 |
|---|---|---|
| BF16 | 50.51GB | 원본 가중치 |
| Q8_0 | 26.86GB | 최대 품질 양자화 |
| Q6_K_L | 23.04GB | 준완전 품질, 추천 |
| Q5_K_M | 19.32GB | 고품질, 추천 |
| Q4_K_M | 17.04GB | 기본 권장 크기 |
| Q4_K_S | 15.84GB | 절약형 4비트 |
| IQ4_XS | 14.21GB | Q4_K_S급 소폭 절감 |
| Q3_K_M | 13.02GB | 저품질, 사용 가능 |
| Q2_K | 10.95GB | 매우 저품이나 놀랍도록 사용 가능 |
| IQ2_XXS | 9.66GB | 최소 파일 |
BF16 50.51 ÷ Q4_K_M 17.04 ≒ 2.96으로 양자화 하나만으로도 메모리가 약 3분의 1로 준다. Unsloth 공식 하드웨어 표가 26B-A4B에 4비트 총 메모리 16~18GB, 8비트 28~30GB를 권하는 것과 일치한다. 파일 출처는 bartowski GGUF 저장소, 하드웨어 표는 Unsloth Gemma 4 문서다.
Gemma 4 26B를 VRAM 16GB 카드로 돌리려면
Q4_K_M(17.04GB)은 VRAM 단독으로 안 들어간다. IQ4_XS(14.21GB)를 올리면 1.8GB가 남아 KV 캐시 최소 여유는 확보되고, Q4_K_M을 쓰려면 RAM 오프로드를 전제해야 한다. 공식 권장 16~18GB가 정확히 그 경계 구간이다. 국내 시세상 16GB 진영에서 LLM 용도로 많이 보는 두 카드의 GB당 가격이다.
| 카드 | 중개가(11/8) | GB당 | 표본 |
|---|---|---|---|
| RTX 5070 Ti 16GB | 2,233,500원 | 139,594원/GB | 14개 |
| RX 9070 XT 16GB | 1,574,200원 | 98,388원/GB | 8개 |
| RTX 5070 12GB | 1,343,210원 | 111,934원/GB | 10개 |
| RTX 3090 24GB (중고) | 1,506,100원 | 62,754원/GB | 2개 (표본 적음) |
| RTX 4090 24GB (중고) | 3,800,000원 | 158,333원/GB | 3개 (표본 적음) |
5070 Ti로 계산하면 2,233,500 ÷ 16 = 139,594원/GB다. 같은 16GB인 RX 9070 XT가 약 98,388원/GB로 더 싸지만 CUDA 생태계 차이가 남을 감안해야 한다. 표본 5개 미만인 중고 항목은 참고용으로만 봐야 한다.
VRAM 24GB는 중고 RTX 3090이 최저인가
24GB면 Q5_K_M(19.32GB)이 컨텍스트 여유를 두고 순수 VRAM에 타고, Q6_K_L(23.04GB)은 총 메모리 기준 28~30GB 창 안쪽이라 RAM을 조금 빌리는 구성으로 들어간다. GB당 가격만 보면 중고 3090(1,506,100 ÷ 24 = 62,754원/GB)이 위 표 전체에서 최저다. 단 표본 2개인 시세라 등락이 클 수 있다. 두 카드의 Gemma 실측 속도 비교는 자사 Qwen vs Gemma 4 비교 글에 있다. 해당 글에서 RTX 4090 기준 Gemma 4 MoE는 초당 170.0토큰을 기록했다.
VRAM 12GB 카드에서는 뭘 올려야 하나
Q3_K_M(13.02GB)부터 12GB를 넘는다. 안전선은 Q2_K(10.95GB)와 IQ2_XXS(9.66GB)인데, bartowski가 2비트대에 붙인 설명은 ‘매우 저품질이지만 놀랍도록 사용 가능’이다. 쓸 만하다는 뜻이지 기본 권장만큼은 아니라는 뜻이다. RTX 5070 12GB 중개가는 1,343,210원(표본 10개)이다. 12GB 카드별 LLM 적합성은 자사 VRAM 12GB 카드 LLM 적합성 글을 참고하라.
VRAM 6GB GPU에서 초당 45토큰은 어떻게 가능하나
Show HN에 공개된 MAPLE는 양자화가 아니라 전문가 잘라내기로 접근한다. llama-imatrix로 30개 레이어·라우팅 전문가 128개의 활성을 프로파일링해 레이어마다 휴면 전문가 80개를 제거하고 48개만 남긴다. 컨테이너는 9.92GB에서 4.75GB로 2.09배 줄고, RTX 4050 Laptop 6GB에서 30개 레이어 전체를 GPU에 올린다(4,820MiB). 오리지널이 페이징으로 16개 레이어를 밀어내고 초당 6.9토큰에 그친 것과 비교하면 6.57배다. 2,048토큰 컨텍스트의 KV·스크래치가 약 294MiB라는 계산도 붙어 있다. 단 이 모델은 영어 코드·STEM 특화로 다국어 전문가를 잘라낸 것이라 한국어 품질은 보장되지 않고, HN 피드백도 품질 검증이 단순 태스크에 국한됐다고 지적했다.
자주 묻는 질문
Gemma 4 26B 최소 사양은 뭔가요?
GGUF 기준 최소 파일은 IQ2_XXS 9.66GB지만 실사용 품질 기준으로 볼 때 기본 권장인 Q4_K_M(17.04GB), 총 메모리 18GB 이상을 최소 사양으로 보는 게 안전하다.
맥에서는 몇 GB면 되나요?
Unsloth 기준이 총(통합) 메모리라 통합 메모리 18GB 이상이면 Q4_K_M급이 올라간다. MLX 동적 양자화도 제공된다.
컨텍스트 늘리면 VRAM 얼마나 더 잡나요?
최대 컨텍스트는 262,144토큰이고 KV 캐시는 길이에 비례해 는다. MAPLE의 2,048토큰 예에서 KV·스크래치가 약 294MiB니, 길게 쓸수록 카드에 1~2GB 이상 여유를 남기는 편이 좋다.
같은 가족 31B와 뭐가 다른가요?
31B는 dense라 4비트 총 메모리 17~20GB에 추론이 더 느리다. 26B-A4B는 4B만 활성화하는 MoE로 속도가 빠르고, 공식 벤치마크(MMLU Pro 82.6 대 85.2)에서는 31B가 근소하게 앞선다.
답글 남기기