GPU 시세 · VRAM · 온디바이스 AI

RTX 3080으로 AI 되나 — 12GB 실행표 (2026년 10월)

· 읽는 시간 5분 · 데일리 딥러닝

RTX 3080으로 AI는 됩니다. 단, 로컬 LLM 기준으로는 12GB VRAM 안에 들어가는 8B급~14B급(Q4 양자화)까지가 실전 범위입니다. llama3.1 8B는 Q4로 가중치 4.9GB라 여유 있고, 27B급은 Q4로도 약 16.47GB라 12GB에 안 들어갑니다. 이 글은 “3080으로 AI 되나요”에 대답하고, 12GB에 올라가는 모델 표와 공개 실측 기준 속도 환산을 정리합니다.

RTX 3080으로 AI가 실제로 되나요

됩니다. 로컬 LLM에서 ‘돌아가느냐’는 VRAM 용량이, ‘얼마나 빠르게 돌아가느냐’는 메모리 대역폭이 결정합니다. RTX 3080의 공개 스펙은 VRAM 12GB GDDR6X, 대역폭 912 GB/s, TDP 350W입니다. 이 조합으로 8B급은 Q4 양자화에서 여유 있게, 14B급은 빠듯하게 돌아갑니다. 이미지 생성(Stable Diffusion 계열)도 12GB면 실전입니다.

다만 검색량이 큰 27B~30B급은 이 카드 바깥의 이야기입니다. Q4_K_XL 파일만 16.47GB (Hardware Corner 측정)이라 12GB에 아예 올라가지 않습니다. 큰 모델이 목표라면 아래 ‘3090과 비교’ 부분을 보세요.

12GB VRAM에 올라가는 모델은 무엇인가요

Q4 양자화 가중치 기준으로 판정했습니다. 숫자는 이 카드 실측 기록과 공개 파일 크기 기준입니다.

모델 (Q4 기준) 필요 VRAM 12GB 판정 근거
llama3.1:8b 4.9GB 여유 기존 실측 기록
deepseek-r1:8b 5.2GB 여유 기존 실측 기록
qwen3.5:9b 6.6GB 여유 기존 실측 기록
phi4:14b 9.1GB 진입 가능(빠듯) 기존 실측 기록
Qwen3 30B급 (Q4_K_XL) 16.47GB 탈락 Hardware Corner 파일 실측

16종 중 12종 탈락이라는 게 이 카드의 실전 한계입니다. 컨텍스트가 길어지면 KV 캐시가 가중치 위에 얹히므로, 9.1GB짜리 14B급은 짧은 대화용이지 32K 컨텍스트용이 아닙니다. 모델별 정확한 용량 표는 VRAM Fit Matrix에서 카드별로 대조할 수 있습니다.

RTX 3080의 AI 속도는 얼마인가요 (공개 실측 기준)

이 카드 전용 토큰속도 공개 자료는 얇아서, 두 개의 공개 실측을 조합해 환산합니다. 하나는 Hardware Corner의 RTX 4090 llama-bench입니다: llama3.1:8b Q4(컨텍스트 4K)에서 131.0 tok/s. 로컬 LLM 디코딩 속도는 대역폭에 1차 비례하므로 3080로 환산하면 131.0 × 912 ÷ 1,008 = 약 118 tok/s 예상입니다. 4090의 공개 대역폭은 1,008 GB/s입니다.

다른 하나는 llamaperf 커뮤니티 실측인데, 주의가 필요합니다. 이 페이지가 재는 카드는 3080 20GB 변형입니다. Qwen3.8 27B 기준 AWQ-INT4에서 57.7 tok/s, Q4에서 39.0 tok/s, Q8에서 21.0 tok/s가 plain run(단일 카드·단일 요청) 기록으로 잡힙니다. 27B Q4는 가중치가 12GB를 넘으니 이 수치는 20GB 사용자용이고, 12GB 카드는 애초에 그 모델을 올릴 수 없습니다.

정리하면 12GB 사용자의 체감 기준은 “8B급 Q4가 대략 100 tok/s대, 14B급이 그보다 느린 수준”으로 잡는 게 안전합니다. 출처: llamaperf RTX 3080 20GB, Hardware Corner RTX 4090.

3080 12GB와 20GB는 무엇이 다른가요

같은 GPU인데 VRAM만 8GB 많은 변형입니다. 그런데 로컬 LLM에서는 이 8GB가 세계를 가릅니다. 20GB에는 Q4_K_XL 16.47GB짜리 Qwen3 30B급이 들어가지만, 12GB에는 안 들어갑니다. llamaperf에 쌓인 3080 계열 토큰속도 기록이 대부분 20GB 쪽인 이유도 그 때문입니다. 모델 크기가 먼저 정해지고 카드는 나중에 고릅니다. 중고로 20GB를 살지 신품 16GB급을 살지는 중고 3090 시세 정리와 같은 고민입니다.

전기세는 얼마나 나오나요

TDP 350W를 하루 8시간 돌린다고 하면: 350W × 8시간 × 30일 ÷ 1,000 = 84kWh. kWh당 150원 근사로 84 × 150 = 월 12,600원입니다. LLM 추론은 코어가 VRAM을 계속 읽어 TDP 근처로 도는 경우가 많아 이 근사가 크게 틀리지 않습니다. 24시간 상시 서버면 월 37,800원입니다.

자주 묻는 질문

RTX 3080 10GB로도 AI가 되나요?

8B급 Q4(4.9GB)는 들어갑니다. 다만 컨텍스트가 조금만 길어져도 KV 캐시가 10GB를 금방 채워 12GB보다 여유가 훨씬 적습니다.

27B 모델은 꼭 20GB 이상이어야 하나요?

Q4_K_XL 파일이 16.47GB이므로 VRAM은 최소 20GB급이어야 합니다. 더 낮은 3비트 이하 양자화까지 포함 한 줄 판단표는 Qwen 27B VRAM 적합표에 있습니다.

3080 12GB와 중고 3090 중 어느 쪽이 유리한가요?

‘돌아가는 모델의 크기’ 기준으로는 3090(24GB)입니다. llamaperf plain run 중간값 기준으로 3090은 Qwen3.8 27B Q4에서 36.4 tok/s를 기록했습니다. 3080 12GB는 그 모델 자체가 안 올라갑니다. 8B 이하만 쓴다면 3080으로 충분합니다.

출처: NVIDIA 공개 스펙, llamaperf 커뮤니티 실측(2026-10-21 수집), Hardware Corner llama-bench 기준. 이 카드는 자체 시세 추적 대상이 아니라 가격 확인은 다나와 최신 정보를 보세요. 시리즈 전체는 RTX 3050~5090 카드 허브.

답글 남기기