Qwen3.8 Flash Next 8GB VRAM 실행의 답은 ‘되지만 그래픽카드에 얹는 게 아니다’다. 10월 26일 Reddit r/LocalLLaMA 보고글은 RTX 5060 Laptop(8GB)·DDR5-5200 32GB·NVMe 노트북에서 프롬프트 처리(PP) 최대 1,040토큰/초, 생성(TG) 30~45토큰/초를 기록했다. 전체 125B, 토큰당 활성 6B인 MoE 모델로, 전문가 가중치는 VRAM이 아니라 RAM과 SSD에서 스트리밍됐다. 병목은 그래픽카드가 아니라 메모리 계층 배분이다.
Qwen3.8 Flash Next 8GB VRAM, 정말 되나 — 보고 수치 확인
원글 제목은 ‘8GB VRAM에 32GB RAM이면 PP 최대 900·TG 30토큰/초로 돌릴 수 있다’다. 작성자는 RTX 5060 Laptop 8GB, 라이젠 9 8945HX, DDR5-5200 32GB, 읽기 5,200MiB/s NVMe 1TB 환경에서 Strata 로더와 Gyro S 양자화를 썼다. 같은 글 안의 표 수치다.
| 구성 | 컨텍스트 | PP (토큰/초) | TG (토큰/초) |
|---|---|---|---|
| 챗 | 262K | 800~970 | 30~40 |
| 챗 | 131K | 930~1,040 | 30~45 |
| 에이전트 | 262K | 520~740 | 30~40 |
| 에이전트 | 131K | 670~890 | 30~45 |
| Qwen 3.6 35B A3B 비교 | 공통 | 630~680 | 27~35 |
같은 하드웨어에서 비교한 Qwen 3.6 35B A3B보다 PP가 250~360토큰/초 높다. 다만 작성자 한 명의 커뮤니티 보고이고 NVMe 속도·PCIe 레인이 결과에 직결된다. 원글은 여기 있다.
왜 125B가 8GB에서 돌아가나 — MoE 분업 구조
Qwen3.8-Flash-Next는 전체 파라미터 125B 중 토큰당 약 6B만 깨우는 MoE다. 어슬롭(Unsloth) 공식 문서는 이 구조 때문에 “CPU RAM에서 돌리든 GPU VRAM에서 돌리든 차이가 크지 않다”고 적었다.
그래서 VRAM에는 어텐션과 KV 캐시, 공유 모듈만 놓고 전문가 가중치는 RAM·SSD에서 가져온다. 어슬롭이 권장하는 최소 총메모리는 1비트 빌드 기준 75GB다. 위 노트북은 합계 40GB로 이보다 적지만, Strata가 전문가를 NVMe에 매핑하고 핫 분량만 RAM에 상주시켜 격차를 벌렸다.
양자화별 파일 용량 — 72.5GB가 최저선
BF16 원본은 약 355GB다. 1비트 양자화(Ngram/PLE 레이어만 4비트 유지)로 75GB까지 280GB, 78.9%를 줄이면서 top-1 정확도를 80% 되살린다는 것이 어슬롭의 계산이다. 실제 배포 파일 수치다.
| 양자화 | 파일 용량 | top-1 (%) |
|---|---|---|
| UD-IQ1_S | 72.5GB | 77.325 |
| UD-Q2_K_XL | 78.9GB | 82.715 |
| UD-IQ3_XXS | 82.0GB | 85.414 |
| UD-IQ4_XS | 93.7GB | 89.554 |
| UD-Q8_0 | 188.2GB | 94.122 |
소비자 그래픽카드 중 이 파일을 VRAM에 통째로 올릴 제품은 RTX 5090(32GB)을 포함해 없다. 전부 오프로드 설계다. 구분 주의: Qwen3.8-27B는 별개의 dense 모델로 17GB RAM/VRAM에서 돌아간다. 용량표 출처: 어슬롭 문서.
Qwen3.8 Flash Next 8GB급 VRAM 포함 그래픽카드별 속도 — 커뮤니티 보고
아래는 llamaperf 커뮤니티 보고값(10월 24일 수집, 단일 디바이스·단일 요청 기준)이다. 오프로드 환경이라 RAM 속도·컨텍스트 길이에 따라 편차가 크다.
| 그래픽카드 | 양자화 | 보고 속도 (토큰/초) |
|---|---|---|
| RTX 5070 Ti 16GB | IQ3_S / NVFP4 | 195 / 178 |
| RTX 5090 32GB | NVFP4 / Q5_K_XL | 166.3 / 150 |
| RTX 5080 16GB | IQ3_XXS / UD-Q4_K_XL | 150 / 110.6 |
| RTX 4090 24GB | UD-IQ4_XS | 72 |
| RTX 5070 12GB | IQ3_S | 53 |
| RTX 3070 8GB | IQ3_S | 40 |
8GB 카드(RTX 3070)도 IQ3_S에서 40토큰/초 보고가 있다. dense 모델 VRAM 표는 Qwen 27B VRAM 표에서 비교하고, 수집 출처는 llamaperf 카드별 공개 페이지다.
NVFP4와 GGUF, 뭘 고르나
NVFP4는 블랙웰(RTX 50 시리즈) 네이티브 FP4 포맷으로 vLLM 계열 서빙 스택이 쓰는 경로다. llamaperf 보고에도 RTX 5090·5070 Ti에 NVFP4 항목이 붙어 있다. GGUF는 llama.cpp와 Strata로 VRAM·RAM·SSD에 쪼개 올리는 가정용 경로다. VRAM 24GB 이상 단일 요청 서빙이면 NVFP4 또는 Q5_K_XL, 8~16GB 대화·코딩용이면 GGUF 저비트다. 8GB에 NVFP4는 파일 자체가 안 들어가 후보가 아니다.
Qwen3.8 Flash Next 8GB VRAM 구성 — 필수 파라미터 체크리스트
위 작성자가 공개한 설정으로, 자기 NVMe 속도에 맞춰 조정이 필요하다.
| 설정 | 값 | 역할 |
|---|---|---|
| –mmap-experts | 켜기 | 전문가를 RAM이 아니라 SSD에 매핑, RAM 16GB를 KV 캐시에 반환 |
| –kv-resident | 20480 | 첫 20K 토큰 KV 상주, 채팅 재시작 지연 제거 |
| –vram-reserve-mib | 500 (안전값 900) | VRAM 여유 확보 |
| STRATA_RESIDENT_HEADROOM_GIB | 4 (기본 2) | 스트리밍 크래시 방지 |
| 스왑 파티션 | 32GB, MemorySwapMax=0 | 강제 스왑 방지 |
주의 두 가지. MTP(추측 복호화)는 8GB에서 끄세요 — 작성자 표현으로 VRAM을 먹고 PP를 낮춘다. 10GB 이상 여유 환경 권장이다. 컨텍스트 131K 이상에서는 –parallel이 어텐션을 디바이스 사이에 쪼개 안전하지 않다. 대신 –conversation-cache(4096MiB, 슬롯 2)를 쓴다. 오프로드 일반은 VRAM 부족 대응 가이드를 참고하라.
그래픽카드를 산다면 — 10월 28일 국내 시세
국내 최저가 추적치(10월 28일, 표본 수 n)다. n이 5 미만은 표본 적음으로 표시한다.
| 제품 | 중위 최저가 (원) | n | 단서 |
|---|---|---|---|
| RTX 5080 16GB | 2,450,620 | 8 | |
| RTX 5070 Ti 16GB | 1,921,000 | 9 | |
| RX 9070 XT 16GB | 1,613,700 | 10 | |
| RTX 5070 12GB | 1,344,600 | 14 | |
| RTX 5060 Ti 8GB | 1,097,990 | 1 | 표본 적음 |
| RTX 3090 24GB (중고) | 1,250,000 | 4 | 표본 적음 |
VRAM 1GB당 가격: RTX 5070은 1,344,600 ÷ 12 = 112,050원, RX 9070 XT는 1,613,700 ÷ 16 = 100,856원, 중고 3090은 1,250,000 ÷ 24 = 52,083원이다. GB당으로는 중고 3090(표본 적음)이 절반 이하, 새 카드 중엔 16GB 라데온이 최저다. CUDA 서빙 스택(vLLM·NVFP4)을 쓸 거면 엔비디아로 좁혀야 한다.
자주 묻는 질문
RAM 16GB로는 못 돌리나요?
어슬롭 공식 최소선은 1비트 빌드 총메모리 75GB이고, Reddit의 40GB 구성은 NVMe 스트리밍을 전제한 예외입니다.
Qwen 3.6 35B A3B와 뭐가 나아요?
같은 8GB 노트북 비교에서 PP 930~1,040 대 630~680토큰/초로 Flash-Next가 앞섰고, TG는 비슷했습니다.
MTP는 켜도 되나요?
8GB에서는 끄세요. 작성자가 VRAM 소모로 PP가 낮아진다고 확인했고, 10GB 이상 여유 환경 권장이라고 적었습니다.
맥에서도 되나요?
어슬롭 문서는 통합 메모리 75GB 이상에서 GPU 없이 로컬 실행된다고 명시했습니다. DGX Spark가 명시 대상이고 64GB 맥 미니는 모자랍니다.
출처: 제조사 공식 스펙과 공개 유통 가격 기준. 가격·스펙은 변동될 수 있으므로 구매 전 최신 정보를 확인하세요.
답글 남기기