양자화 사다리 2026 — 로컬 LLM 15종 104개 빌드, 파일 크기 실측 + 품질 기록 대조

어제 올린 생성 속도 차트에 이은 후속편입니다. 이번엔 같은 모델의 양자화 버전들입니다. 로컬에서 하나도 돌리지 않았습니다. 다운로드 크기는 전부 Hugging Face 라이브 파일 목록에서 오늘 실측한 값이고, 품질 수치는 각 모델 카원과 공개 측정 블로그에서 출처를 명시해 인용했습니다. 전 모델 합계 104개 빌드의 파일 크기입니다.

1. 포맷 용어 정리 — 이름표 뒤에 뭐가 들었나

2. 모델별 양자화 사다리 (15종 · 104개 빌드)

Qwen3.8-27B

Dense 27.4B · 멀티모달 · 컨텍스트 256K · 출처 unsloth/Qwen3.8-27B-GGUF

Qwen3.8-Flash-Next (125B)

MoE 125B-A95B급 · 262K · 샤드 파일 합산 실측 · 출처 unsloth/Qwen3.8-Flash-Next-GGUF

Qwen3.6-35B-A3B

MoE 35B-A3B · 활성 3B · 출처 unsloth/Qwen3.6-35B-A3B-GGUF

Gemma 4 26B-A4B

MoE 26B-A4B · 128익스퍼트 · QAT 병행 · 출처 unsloth/gemma-4-26B-A4B-it-GGUF

gpt-oss-20b

MoE 21B-A3.6B · MoE 가중치가 원래 MXFP4 · 출처 unsloth/gpt-oss-20b-GGUF

Qwen3-Coder-30B-A3B

MoE 30B-A3B · 코딩 특화 · 출처 unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF

Mistral-Small-3.2-24B

Dense 24B · 출처 unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF

DeepSeek-R1-Distill-8B

Dense 8B 증류 · 출처 unsloth/DeepSeek-R1-Distill-Llama-8B-GGUF

Phi-4

Dense 14.6B · 출처 unsloth/phi-4-GGUF

Llama-3.1-8B

Dense 8B · 출처 bartowski/Meta-Llama-3.1-8B-Instruct-GGUF

Ornith-1.5-35B-A3B

MoE 35B-A3B · 신규 (26-08) · 출처 ornith-ai/Ornith-1.5-35B-A3B-GGUF

Nemotron-3.5-Lightning-30B-A3B

MoE 30B-A3B · MTP 헤드 내장 · 출처 ggml-org/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF

Muse-Glimmer-30B

Dense 30B · Meta 신규 (26-08) · 출처 meta-models/Muse-Glimmer-30B-GGUF

Laguna-XS-2.1

MoE 34B급 · Poolside 신규 (26-06) · 출처 ggml-org/Laguna-XS-2.1-GGUF

3. 품질이 실제로 깨지는 지점

양자화 품질, 어디서 얼마나 깨지나 — Qwen3.8-27B 실측 사례

300개 고정 작업(pass@1)과 240개 에이전트 사다리(720점 만점)로 BF16 대비를 공개한 측정이 있습니다:

여기서 가장 중요한 줄은 마지막이 아니라 Q4_K_XL입니다. 17.6GB짜리가 BF16보다 에이전트 작업에서 13점 높습니다. 통계적으로 동점인데 에이전트 사다리 1위 — 양자화 노이즈가 오히려 사고 경로를 다양하게 만드는 것으로 보이지만, 측정자는 ‘측정 가능한 저하 없음’으로 정리했습니다. 사고 예산 얘기로 돌아가면: 같은 모델 BF16로 사고 off 61.3% → max 80.3%. 양자화 통째 구간(±3점)의 7배입니다. GPU VRAM이 모자라 Q4를 쓰는 게 아니라면, 아낀 VRAM으로 컨텍스트와 thinking을 늘리는 게 이깁니다.

MoE는 양자화를 더 싫어한다 — Gemma 4 26B-A4B 80종 KL 측정

약 25만 토큰(코딩·챗·툴콜링·과학·비라틴 문자·장문)으로 BF16 대비 KL 발산을 재단 6명 업로더 80개 빌드에서 측정한 결과가 있습니다. 요약:

• 활성 4B MoE는 Q8_0에서 이미 KL 0.544 — dense 31B 동급(0.163)의 3.3배. MoE는 애초에 양자화에 약합니다.
• 같은 Q4_K_M인데 ggml-org 2.126, lmstudio 2.116, bartowski 1.093 — 업로더가 양자화 이름보다 중요합니다.
• 파레토 프론트는 unsloth UD가 독식 (bartowski Q6_K_L 예외 하나).
• MoE 전용 포맷 MXFP4_MOE(16.6GB, KL 0.963)가 같은 집 UD-Q4_K_XL(17.0GB, KL 0.747)에 짐.

그리고 calibration 데이터가 실제 작업을 좌우한다는 측정도 나왔습니다: 같은 recipe에서 calibration 데이터만 code/math → mixed로 바꾸니 KL은 개선됐는데 GSM8K가 9%P 더 떨어졌습니다. ‘KL 개선 = 작업 품질 개선’이 성립하지 않는다는 공개 증명입니다.

4. 제 머신 기준 권장 매트릭스

크기 vs 메모리 — 실측으로 외우는 공식

다운로드 크기에 더하는 실제 필요 RAM은 대략 이렇습니다: 가중치 + (컨텍스트 16K 기준) KV 1~4GB (q8_0 캐시 쓰면 절반) + 오버헤드 1~2GB. 예: Qwen3.8-27B Q4_K_XL 17.6GB + 16K 컨텍스트 ≈ 20GB → 24GB 카드에 들어갑니다. M5 Max 통합메모리는 컨텍스트를 길게 뽑을수록 이 항목이 커지니, 128GB 머신에서도 110GB 넘는 빌드(Flash-Next Q5 이상)는 262K 컨텍스트를 감당 못 합니다. 어제 차트에서 Flash-Next MLX가 59 tok/s로 버티던 건 4bit+SSD 옵로드 조합 덕이고, 그 위 비트는 이 머신에서 사치입니다.

5. 출처와 주의사항

출처

• 파일 크기 전부: unsloth/Qwen3.8-27B-GGUF 외 14개 리포 파일 목록 (2026-09-27 API 실측, 샤드 합산)
• Qwen3.8-27B pass@1/에이전트 사다리: vramcalculator.com 양자화 리포트 (@superalesha 300태스크 고정 측정이 원출처)
• Qwen3.8-27B KL/top-1 표: AtomicChat/Qwen3.8-27B-GGUF (BF16 레퍼런스 대비, 홀드아웃 87챈크)
• Gemma 4 KL 80종: localbench.substack.com GGUF Quality Benchmark
• Gemma 4 QAT top-1: SC117/gemma-4-26B-A4B-it-qat-heretic-GGUF 모델카드
• HumanEval+/EvalPlus 표: tooltd/Qwen3.8-27B-IQ4-XS-16GB-VRAM-GGUF
• Unleashed Q3 vs Q4 PPL/토큰속도: outsourc-e/Qwen3.8-27B-Unleashed-GGUF (4090, llama.cpp)

주의: 서로 다른 하네스의 PPL/KL은 절대값 비교 불가 — 같은 표 안에서의 비교만 유효합니다 (측정자들 공통 고지).

이 페이지는 로컬 LLM 허브 — 내 컴퓨터에서 뭐가 도나의 일부입니다. 하드웨어별 가능 모델 표는 허브에서.