VRAM 24GB는 32B급까지 Q4로 올리는 구간이고, 진입 최저가는 중고 RTX 3090입니다. 2026년 10월 10일 국내 최저가 기준 중고 3090이 1,403,765원으로 GB당 58,490원입니다. 같은 24GB인 중고 4090은 약 380만원이라 GB당 158,333원, 2.7배입니다. 돌릴 수 있는 모델 목록은 둘이 같습니다. 아래는 24GB에서 실제로 도는 모델과 그 판단 근거입니다.
24GB에 들어가는 모델 — 실측
M5 Max 128GB에서 측정한 생성 속도입니다. 24GB 카드에 올릴 수 있는지는 가중치 열로 판단하십시오.
| 모델 | tok/s | 가중치 | 첫 토큰 | 24GB에서 |
|---|---|---|---|---|
| qwen3-coder:30b | 146.2 | 18GB | 4.3s | 여유 |
| laguna-xs-2.1 | 126.0 | 18GB | — | 여유 |
| gpt-oss:20b | 102.9 | 13GB | 14.2s | 여유 |
| llama3.1:8b | 100.8 | 4.9GB | 0.1s | 여유 |
| qwen3.6:35b-a3b | 95.1 | 23GB | 25.5s | 빠듯 |
| qwen3.8:27b | 73.2 | 17.7GB | — | 여유 |
| phi4:14b | 45.8 | 9.1GB | 14.8s | 여유 |
| mistral-small:24b | 28.0 | 14GB | 18.2s | 여유 |
가중치가 23GB인 35B MoE는 계산상 24GB에 들어가지만 여유가 1GB뿐입니다. KV 캐시가 조금만 커져도 넘칩니다. 24GB의 현실적인 주력은 35B가 아니라 30B 안팎입니다.
왜 24GB가 분기점인가
24GB : 32B Q4 = 18.5 + 6.3 = 24.8GB (경계)
24GB : 30B Q4 = 18.0 + 4.5 = 22.5GB (적정)
16GB에서 24GB로 올라가면 모델 등급이 14B에서 30B로 두 단계 뜁니다. 12GB→16GB가 한 등급인 것과 비교하면 체감이 큽니다. 그 사이 20GB 구간은 VRAM 20GB 그래픽카드에 따로 정리했습니다.
24GB를 가장 싸게 사는 법
현재 24GB 진입 경로는 사실상 중고 두 가지입니다.
| 카드 | 시세 | GB당 | Q4 상한 | 차이 |
|---|---|---|---|---|
| 중고 RTX 3090 24GB | 1,403,765원 | 58,490원 | 32B급 | 기준 |
| 중고 RTX 4090 24GB | 약 3,800,000원 | 158,333원 | 32B급 | 2.7배 |
적재량이 같으므로 4090이 주는 것은 속도와 전력 효율입니다. 하루 몇 번 쓰는 용도라면 239만원 차이를 정당화하기 어렵습니다. 전기요금까지 넣은 3년 총비용 비교는 중고 RTX 4090 시세에 있습니다.
중고 3090은 수집 표본이 적은 날이 있어 시세가 출렁입니다. 2026-10-10 기준 표본 2개였습니다. 하루 가격이 아니라 최근 7일 기울기로 판단하십시오. 채굴 이력과 발열 점검도 필수입니다.
24GB에서 쓸 수 있는 작업
용량을 작업 단위로 바꾸면 24GB의 쓸모가 분명해집니다.
| 작업 | 필요 구간 | 24GB에서 |
|---|---|---|
| 일반 대화·요약 | 8~14B | 과분함 |
| 코드 생성·리팩터링 | 30B급 | 적정 |
| 긴 문서 분석 | 14B + 긴 컨텍스트 | 여유 |
| 고품질 한국어 생성 | 30B 이상 | 적정 |
| 소형 모델 파인튜닝 | 24GB 권장 | 경계 |
| 70B급 추론 | 40GB 이상 | 불가 |
24GB가 빛나는 건 코딩 모델입니다. 실측에서 qwen3-coder 30B가 146.2 tok/s로 가장 빨랐고 가중치가 18GB라 여유도 있습니다. 반대로 파인튜닝은 24GB가 권장 하한이라 경계에 걸칩니다.
16GB에서 올라올 가치가 있나
숫자로만 보면 분명합니다. 16GB는 14B가 상한이고 24GB는 30B급입니다. 파라미터 기준 두 배 이상입니다.
다만 비용을 같이 보셔야 합니다. 2026년 10월 10일 기준 RTX 5070 Ti 16GB가 1,411,400원으로 GB당 88,213원입니다. 중고 3090 24GB는 1,403,765원에 GB당 58,490원입니다. 총액이 거의 같은데 용량은 8GB 더 큽니다.
그래서 순수 적재량 관점이면 중고 3090이 유리합니다. 반대로 신품 보증, 소비전력, 최신 드라이버가 중요하면 16GB 신품이 합리적입니다. 3090은 소비전력이 높아 파워 용량을 먼저 확인해야 합니다.
자주 묻는 질문
VRAM 24GB 그래픽카드는 어떤 게 있나요?
RTX 3090, 3090 Ti, 4090이 24GB입니다. 신품 유통은 사실상 끊겼고 중고가 주 경로입니다.
24GB면 70B 모델이 돌아가나요?
Q4로도 부족합니다. 70B급은 40GB 이상이 필요해 다중 카드나 통합 메모리 환경이 필요합니다.
3090과 4090 중 로컬 LLM에는 뭐가 낫나요?
올릴 수 있는 모델이 같으므로 예산 문제입니다. GB당 단가는 3090이 2.7배 유리합니다.
24GB 두 장이면 48GB로 쓸 수 있나요?
모델을 쪼개 올리는 구성이 가능하지만 설정이 까다롭고 카드 간 통신이 병목이 됩니다. 한 장에 들어가는 쪽이 항상 빠릅니다.
용량별 시리즈 — VRAM 8GB 그래픽카드 · VRAM 12GB 그래픽카드 · VRAM 16GB 그래픽카드 · VRAM 32GB 그래픽카드
답글 남기기