Qwen 3.8 27B VRAM 요구량은 4비트 양자화 파일 기준 16.06 GB입니다. 이 숫자가 24GB 카드의 실행 가능·불가를 가르는 기준선이고, 16GB 카드에서는 한 단계 낮은 13.15 GB 양자화까지 내려가야 간신히 들어갑니다. 아래 표는 허깅페이스 unsloth GGUF 저장소에서 직접 내려받은 파일 크기 실측치이고, 속도는 r/LocalLLM에 공개된 동일 조건 벤치마크를 인용했습니다. 이 노트북에서 직접 돌린 실험은 하나도 없습니다.
Qwen 3.8 27B, 양자화별 VRAM 파일 크기는 얼마인가
허깅페이스 unsloth/Qwen3.8-27B-GGUF의 실제 파일 크기 합계입니다. 원본 safetensors는 54.66 GB입니다.
| 양자화 | 파일 크기 | 필요 VRAM(추산 포함) |
|---|---|---|
| BF16 원본 | 54.66 GB | 60GB급 이상 |
| Q8_0 | 29.05 GB | 32GB 카드에 빠듯 |
| UD-Q4_K_XL | 17.56 GB | 24GB 카드 권장 |
| Q4_0 단일 파일 | 16.06 GB | 24GB, 32GB는 여유 |
| UD-Q3_K_XL | 13.15 GB | 16GB 카드 마지노선 |
| UD-Q2_K_XL | 9.83 GB | 12GB 카드 가능 |
파일 크기와 필요 VRAM은 같은 숫자가 아닙니다. 컨텍스트를 채우는 KV 캐시가 파일 위에 얹히기 때문입니다. UD-Q3_K_XL 13.15 GB를 16GB 카드에 올리면 KV 캐시에 남는 공간은 약 2.85 GB뿐입니다.
Qwen 27B는 VRAM 16GB 그래픽카드에서 돌아가나요
돌아가긴 합니다. 다만 UD-Q4_K_XL 17.56 GB는 물리적으로 16GB보다 커서 4비트 최상위 등급은 불가능합니다. UD-Q3_K_XL(13.15 GB) 또는 UD-IQ3_XXS(10.93 GB)까지 내려가야 하고, 컨텍스트를 짧게 묶어야 합니다. 자사 벤치마크 허브는 16GB 구간 실행 모델로 Q4_K_M(허브 표기 18.4 GB)을 올려뒀는데, 이는 일부 레이어를 RAM으로 넘기는 오프로드 전제입니다. 전체 표는 로컬 LLM 실행표에서 확인하세요.
RTX 4090에서 Qwen 3.8 27B는 초당 몇 토큰인가
r/LocalLLM 이용자 u/fuguemaster가 2026-09-23 공개한 벤치마크입니다. Q4_K_M, 컨텍스트 65,536, 요청 1개 조건으로 플랫폼만 바꿨습니다.
| 장비 | 디코드 속도 | 16K 프롬프트 처리 |
|---|---|---|
| RTX 4090 24GB | 47.3 tok/s | 2,103.1 tok/s |
| RTX 3090 두 장(48GB) | 40.6 tok/s | 1,228.6 tok/s |
| MacBook Pro M4 Max 128GB | 24.0 tok/s | 171.2 tok/s |
| Tesla P100 두 장(32GB) | 11.7 tok/s | 118.9 tok/s |
4090 한 장이 3090 두 장보다 디코드에서 앞섭니다. VRAM 총량이 절반인데도 그렇습니다. 디코드는 카드당 대역폭 싸움이고, 멀티 GPU는 분할 오차가 붙기 때문입니다. 4090에서 100만 토큰을 생성하는 데 걸리는 시간은 1,000,000 ÷ 47.3 = 21,142초, 약 5.9시간입니다.
맥북(Metal)에서는 Qwen 27B를 어떻게 돌리나
MLX 4bit 빌드(lmstudio-community/Qwen3.8-27B-MLX-4bit) 총 용량은 16.08 GB입니다. 통합 메모리 32GB 이상 맥에서 실질적으로 구동 가능한 크기이고, M4 Max 실측 디코드는 24.0 tok/s입니다. 같은 파일을 4090에서 돌리면 프롬프트 처리가 2,103.1 ÷ 171.2 = 약 12배 빠릅니다. 로컬 LLM에서 맥과 엔비디아가 갈리는 지점의 구조적 설명은 llama.cpp vs MLX 실측 비교를 보세요.
Qwen 27B를 돌리려면 어떤 그래픽카드를 사나 (국내 시세)
2026-10-19 14시(KST) 다나와 수집 기준입니다.
| 카드 | 최저가 | 중위값 | 표본(n) |
|---|---|---|---|
| RTX 5090 32GB | 9,378,800원 | 9,890,000원 | 5 |
| RTX 5080 16GB | 2,249,000원 | 2,450,620원 | 7 |
| RTX 5070 Ti 16GB | 1,579,000원 | 2,010,000원 | 13 |
| RTX 5070 12GB | 1,089,000원 | 1,299,000원 | 13 |
| RTX 4090 24GB 중고 | 3,683,333원 | 3,996,500원 | 2(표본 적음) |
| RTX 3090 24GB 중고 | 1,129,220원 | 1,231,000원 | 2(표본 적음) |
GB당 단가로 환산하면 결론이 갈립니다. 신품 5070 Ti는 2,010,000 ÷ 16 = 125,625원/GB인데, 중고 3090 최저가는 1,129,220 ÷ 24 = 47,051원/GB로 3분의 1입니다. Qwen 3.8 27B처럼 단일 대형 모델을 도는 용도라면 중고 3090이 여전히 최저 비용 경로입니다. 시세 근거는 중고 RTX 3090 시세 총정리에 있습니다.
왜 체감 속도가 이렇게 느린가 — 생각 모드 계산
이 모델은 기본 상태가 ‘생각’ 모드입니다. Medium 데이터 사이언스 컬렉티브 보도(2026-08-25)에 따르면 M5 Max 128GB 맥북에서 LM Studio로 Q4_K_M 빌드를 돌릴 때, 새 한 장 그려달라는 요청에 생각 토큰 22,000개와 답변 3,223개를 생성했습니다. 4090 속도(47.3 tok/s)로 환산하면 생각에만 22,000 ÷ 47.3 = 465초, 약 7.8분이 들어갑니다. 체감 속도의 절반 이상이 토큰 설정에서 결정된다는 뜻입니다.
자주 묻는 질문
Qwen 3.8 27B가 16GB에서 안 돌아가는 게 맞나요
4비트 최상위(UD-Q4_K_XL 17.56 GB)는 안 돌아갑니다. UD-Q3_K_XL(13.15 GB)까지는 들어가고, 컨텍스트를 짧게 쓰면 체감 품질 차이가 작습니다.
8GB VRAM에서는 불가능한가요
이 모델의 최소 공개 양자화는 UD-IQ1_S 6.19 GB입니다. 파일 자체는 들어가지만 KV 캐시 여유가 없어 실질적으로 12GB 이상을 권합니다.
Q4_K_M은 몇 GB인가요
자사 벤치마크 허브 기준 18.4 GB입니다. unsloth 저장소의 단일 파일 Q4_0은 16.06 GB로, 두 수치 모두 24GB 카드 기준 실행 가능·16GB 기준 오프로드 필요 판정이 같습니다.
H200에서는 얼마나 빠른가요
r/Qwen_AI에 공개된 실측으로 H200 한 장에서 요청당 202 tok/s, 집계 1,394 tok/s입니다. 소비자 카드 대비 디코드가 약 4배 빠른 수준이 아니라, 요청 병렬에서 차이가 벌어집니다.
답글 남기기