VRAM 10GB 그래픽카드로 돌리는 로컬 LLM — RTX 3080 기준

10GB는 어떤 카드인가

RTX 3080은 10GB와 12GB 두 가지로 나왔습니다. 2020년 출시된 초기형이 10GB, 이후 나온 개선판이 12GB입니다. 중고 시장에서 가격 차가 큰데, 로컬 LLM 관점에서는 그 2GB가 돌릴 수 있는 모델 폭을 가릅니다.

같은 10GB 근처로 RTX 3080 Ti 12GB, RTX 2080 Ti 11GB 같은 카드도 있습니다. 이 글의 계산은 10GB와 11GB 구간에 공통으로 적용됩니다. 카드별 정확한 용량은 그래픽카드 VRAM 용량 총정리를 보시면 됩니다.

10GB에 실제로 들어가는 모델

필요량은 가중치와 KV 캐시와 활성화 메모리의 합입니다. Q4 양자화 기준으로 계산하면 이렇습니다.

모델 크기	가중치	KV+활성화	합계	10GB에서
7B	약 4.1GB	약 2.3GB	약 6.4GB	여유
8B	약 4.7GB	약 2.4GB	약 7.1GB	여유
12B	약 7.0GB	약 2.8GB	약 9.8GB	빠듯함
14B	약 8.2GB	약 4.5GB	약 12.7GB	불가
24B	약 14.0GB	약 5.5GB	약 19.5GB	불가

12B가 9.8GB로 10GB에 간신히 들어갑니다. 안전하게 쓰려면 8B급이 맞습니다. 8 × 0.6 + 2 = 약 6.8GB라 3GB 남짓 여유가 생기고, 그 여유가 긴 대화를 버티게 해줍니다.

12GB와 비교하면 얼마나 손해인가

10GB와 12GB의 차이는 2GB지만 결과는 모델 한 등급입니다. 12GB는 12B급을 여유 있게 돌리고 컨텍스트도 어느 정도 늘릴 수 있습니다. 10GB는 12B를 겨우 올리거나 포기해야 합니다.

가격으로 환산해 보겠습니다. 신품 기준 RTX 3060 12GB가 2026년 10월 10일 국내 최저가 523,300원입니다. GB당 523,300 ÷ 12 = 43,608원입니다. 중고 3080 10GB를 60만원에 산다면 GB당 600,000 ÷ 10 = 60,000원이 됩니다.

즉 적재량만 따지면 3060 12GB 신품이 3080 10GB 중고보다 싸고 용량도 큽니다. 3080이 앞서는 건 연산 속도와 대역폭입니다. 속도를 살 것인가 적재량을 살 것인가의 문제이고, 로컬 LLM에서는 적재량이 먼저입니다.

10GB에서 속도를 끌어올리는 법

용량이 빠듯할 때 쓸 수 있는 수단은 세 가지입니다. 첫째, 양자화를 더 낮춥니다. Q4에서 Q3로 내리면 가중치가 약 25% 줄어 12B가 편해집니다. 다만 품질 저하가 눈에 띄기 시작하는 지점이라 권장 순서로는 마지막입니다.

둘째, 컨텍스트를 줄입니다. KV 캐시는 컨텍스트 길이에 비례하므로 32K를 8K로 줄이면 캐시가 4분의 1이 됩니다. 긴 문서를 다루지 않는다면 가장 손해가 적은 선택입니다.

셋째, 모델을 바꿉니다. 같은 8B라도 구조에 따라 KV 캐시 요구량이 다릅니다. 이 부분은 Ollama 설치와 모델 삭제에서 설명한 것처럼 여러 개를 받아 비교해 보는 수밖에 없습니다.

8GB·10GB·12GB 중 어디가 분기점인가

세 구간을 나란히 놓으면 10GB의 위치가 분명해집니다.

VRAM	Q4 안전 상한	무리하면	대표 카드
8GB	7~8B	12B는 불가	RTX 3070, 5050, 5060
10GB	8B	12B 가능(짧은 컨텍스트)	RTX 3080 초기형
12GB	12B	14B는 불가	RTX 3060, 5070, 4070
16GB	14B	24B는 오프로드 필요	RTX 5070 Ti, 5080

표를 보면 10GB는 8GB의 확장판이지 12GB의 축소판이 아닙니다. 안전 상한은 8GB와 같은 8B이고, 여유분만 2GB 더 있는 구간입니다. 그 여유가 컨텍스트를 늘리거나 12B를 시험해 보는 데 쓰입니다.

실제 선택으로 옮기면 이렇습니다. 8B급으로 충분하고 게임도 한다면 3080 10GB 중고는 합리적입니다. 12B 이상을 상시로 쓸 계획이면 10GB에서 버티지 말고 12GB 이상으로 가야 합니다. 2GB를 아끼려다 모델 등급을 포기하는 거래가 됩니다.

중고로 살 때 확인할 것

3080은 채굴에 많이 쓰인 세대라 상태 편차가 큽니다. 로컬 LLM은 게임과 달리 장시간 고부하가 이어지므로 발열 관리가 더 중요합니다.

확인 순서는 용량, 발열, 전력입니다. 먼저 10GB인지 12GB인지 판매글에 적힌 숫자를 그대로 믿지 말고 실물 사양으로 확인하십시오. 다음으로 장시간 부하 시 온도를, 마지막으로 파워 용량을 봅니다. 3080은 공칭 소비전력이 높아 기존 저용량 파워에 그대로 꽂으면 부하 구간에서 재부팅이 납니다.

자주 묻는 질문

RTX 3080 10GB로 14B를 돌릴 수 있나요?

Q4 기준 약 12.7GB가 필요하므로 전부 올리지는 못합니다. 일부를 시스템 메모리로 내리면 실행은 되지만 속도가 급락합니다.

10GB와 12GB 중고 가격 차이만큼 값어치가 있나요?

12B급을 쓸 계획이면 있습니다. 8B급만 쓸 거라면 2GB 차이가 체감되지 않습니다. 용도를 먼저 정하는 게 순서입니다.

컨텍스트를 줄이면 품질이 떨어지나요?

모델 자체의 품질은 그대로입니다. 다만 한 번에 참조할 수 있는 분량이 줄어 긴 문서 요약 같은 작업에서 불리해집니다.

VRAM이 모자라면 어떤 증상이 나타나나요?

초당 수십 토큰에서 한 자릿수로 떨어집니다. 오류 없이 느려지기만 해서 원인을 모르고 쓰는 경우가 많습니다.