🌐 · English · 中文 · Español · 한국어 · · Español Hub

Secuela del gráfico de velocidad de generación de ayer. Ahora con las versiones cuantizadas de los mismos modelos. No he ejecutado ni uno en local. Los tamaños de descarga están medidos hoy en la lista de ficheros en vivo de Hugging Face, y las cifras de calidad se citan con fuente explícita desde cada model card y blogs de medición públicos. Son los tamaños de 104 builds entre todos los modelos.

1. Términos de formatos: qué hay detrás de cada etiqueta

2. Escalera de cuantización por modelo (15 modelos · 104 builds)

Qwen3.8-27B

Denso 27,4B · multimodal · contexto de 256K · fuenteunsloth/Qwen3.8-27B-GGUF

Qwen3.8-Flash-Next (125B)

Clase MoE 125B-A95B · 262K · medido sumando los archivos de fragmentos · fuenteunsloth/Qwen3.8-Flash-Next-GGUF

Qwen3.6-35B-A3B

MoE 35B-A3B · 3B activos · fuenteunsloth/Qwen3.6-35B-A3B-GGUF

Gemma 4 26B-A4B

MoE 26B-A4B · 128 expertos · QAT en paralelo · fuenteunsloth/gemma-4-26B-A4B-it-GGUF

gpt-oss-20b

MoE 21B-A3.6B · pesos nativamente en MXFP4 · fuenteunsloth/gpt-oss-20b-GGUF

Qwen3-Coder-30B-A3B

MoE 30B-A3B · especializado en código · fuenteunsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF

Mistral-Small-3.2-24B

Denso 24B · fuenteunsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF

DeepSeek-R1-Distill-8B

Destilación densa de 8B · fuenteunsloth/DeepSeek-R1-Distill-Llama-8B-GGUF

Phi-4

Denso 14,6B · Fuenteunsloth/phi-4-GGUF

Llama-3.1-8B

Denso 8B · fuentebartowski/Meta-Llama-3.1-8B-Instruct-GGUF

Ornith-1.5-35B-A3B

MoE 35B-A3B · nuevo (26-08) · fuenteornith-ai/Ornith-1.5-35B-A3B-GGUF

Nemotron-3.5-Lightning-30B-A3B

MoE 30B-A3B · cabezal MTP integrado · fuenteggml-org/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF

Muse-Glimmer-30B

Dense 30B · novedad de Meta (26-08) · fuentemeta-models/Muse-Glimmer-30B-GGUF

Laguna-XS-2.1

MoE de 34B · novedad de Poolside (26-06) · fuenteggml-org/Laguna-XS-2.1-GGUF

3. El punto donde la calidad se rompe de verdad

Calidad de la cuantización: dónde y cuánto se rompe — caso medido de Qwen3.8-27B

Hay una medición que publicó la comparación frente a BF16 con 300 tareas fijas (pass@1) y una escalera de agentes de 240 (720 puntos):

La fila más importante aquí no es la última, sino Q4_K_XL. La versión de 17.6GB, frente a BF1613 puntos más alto en tareas de agente. Estadísticamente es un empate, pero primero en la escalera de agentes — el ruido de la cuantización parece diversificar las rutas de razonamiento, aunque quien midió lo resumió como ‘sin degradación medible’. Volviendo al presupuesto de razonamiento: el mismo modelo en BF16, razonamiento apagado 61.3% → al máximo 80.3%. Siete veces la banda completa de la cuantización (±3 puntos). Si no usas Q4 por falta de VRAM, ganarás más usando la VRAM ahorrada en más contexto y thinking.

MoE rechaza aún más la cuantización — medición KL de 80 variantes en Gemma 4 26B-A4B

Existe una medición de la divergencia KL frente a BF16 con unos 250K tokens (código, chat, tool calling, ciencia, escritura no latina, contexto largo) en 80 builds de 6 subidores. Resumen:

• Un MoE de 4B activos ya marca KL 0.544 en Q8_0 — 3.3 veces el de un denso 31B equivalente (0.163). Los MoE son inherentemente débiles ante la cuantización.
• Mismo Q4_K_M, pero ggml-org 2.126, lmstudio 2.116, bartowski 1.093 —El subidor importa más que el nombre de la cuantización.
• unsloth UD acapara la frontera de Pareto (una excepción: bartowski Q6_K_L).
• El formato solo-MoE MXFP4_MOE (16.6GB, KL 0.963) pierde contra el UD-Q4_K_XL (17.0GB, KL 0.747) de la misma familia.

Y hay una medición que muestra que los datos de calibración deciden el rendimiento real: en la misma receta, cambiar solo los datos de calibración de code/math a mixed mejoró el KL pero bajó GSM8K otros 9%P. Es la prueba pública de que «mejorar el KL = mejorar la calidad de la tarea» no se cumple.

4. Matriz recomendada para mi máquina

Tamaño frente a memoria: la fórmula que se aprende midiendo

La RAM real que necesitas además del tamaño de descarga es más o menos así: pesos + (para contexto de 16K) 1~4GB de KV (la mitad con caché q8_0) + 1~2GB de sobrecarga. Ejemplo: Qwen3.8-27B Q4_K_XL 17.6GB + contexto de 16K ≈ 20GB → entra en una tarjeta de 24GB. En la memoria unificada del M5 Max este término crece cuanto más alargues el contexto, así que incluso una máquina de 128GB no admite un contexto de 262K con builds de más de 110GB (Flash-Next Q5 o superior). Que Flash-Next MLX aguantara 59 tok/s en el gráfico de ayer se debe a la combinación 4bit + descarga a SSD; más bits que eso son un lujo en esta máquina.

5. Fuentes y advertencias

Fuente

• Todos los tamaños de archivo:unsloth/Qwen3.8-27B-GGUFLista de 14 archivos más del repo (medido por API el 2026-09-27, shards sumados)
• Qwen3.8-27B pass@1 / escalera de agentes: informe de cuantización de vramcalculator.com (fuente original: medición fija de 300 tareas de @superalesha)
• Tabla KL/top-1 de Qwen3.8-27B:AtomicChat/Qwen3.8-27B-GGUF(frente a la referencia BF16, 87 chunks de validación)
• 80 variantes de Gemma 4 KL: localbench.substack.com GGUF Quality Benchmark
• Gemma 4 QAT top-1: SC117/gemma-4-26B-A4B-it-qat-heretic-GGUFModel card
• Tabla HumanEval+/EvalPlus:tooltd/Qwen3.8-27B-IQ4-XS-16GB-VRAM-GGUF
• PPL/velocidad de tokens de Unleashed Q3 vs Q4:outsourc-e/Qwen3.8-27B-Unleashed-GGUF (4090, llama.cpp)

Ojo: los PPL/KL de harness distintos no se comparan en valores absolutos: solo valen las comparaciones dentro de una misma tabla (aviso común de los que miden).

Esta páginaHub de LLM locales — qué corre en mi ordenadores parte de. La tabla de modelos compatibles por hardware está en el hub.