GPU 시세 · VRAM · 온디바이스 AI

RTX 3070 VRAM 8GB — 로컬 LLM 어디까지 되나 실측

· 읽는 시간 5분 · 데일리 딥러닝

RTX 3070의 VRAM은 8GB입니다. RTX 3070 Ti도 같은 8GB이고, 둘의 차이는 메모리 종류와 전력이지 용량이 아닙니다. 로컬 LLM 기준으로 8GB는 8B급 모델까지가 안전선이고 9B부터 빠듯해집니다. 아래는 3070 8GB에서 직접 돌려본 모델별 속도와, 8GB로 버티는 방법입니다.

8GBRTX 3070 VRAM
8B급Q4 안전 상한
448GB/s메모리 대역폭
44.8llama3.1 8B tok/s

RTX 3070 스펙 — VRAM만 먼저

VRAM
8GB GDDR6
RTX 3070 Ti
8GB GDDR6X (용량 동일)
메모리 대역폭
448GB/s
Q4 기준 상한
8B급
한계 지점
9B부터 빠듯, 12B 이상 불가

3070은 연산과 대역폭은 넉넉한데 적재량이 먼저 막히는 전형적인 카드입니다. 448GB/s는 지금 기준으로도 느리지 않지만, 모델이 8GB를 넘는 순간 그 대역폭이 의미를 잃습니다. 다른 카드 용량은 그래픽카드 VRAM 용량 총정리에 한 표로 정리했습니다.

8GB에 실제로 들어가는가 — 계산

필요 VRAM = 가중치 + KV 캐시 + 활성화
8B Q4 = 4.7 + 1.7 + 0.7 = 약 7.1GB (여유 0.9GB)
9B Q4 = 5.3 + 1.8 + 0.8 = 약 7.9GB (여유 0.1GB)
12B Q4 = 7.0 + 2.1 + 0.9 = 약 10.0GB (초과)

8B는 0.9GB가 남고 9B는 0.1GB가 남습니다. 숫자상 둘 다 들어가지만 실전은 다릅니다. 모니터 출력과 브라우저도 VRAM을 쓰기 때문에, 여유 0.1GB는 사실상 없는 여유입니다.

실측 결과

RTX 3070 8GB · Windows 11 · Ollama · Q4_K_M 기준입니다.

모델 파라미터 속도 가중치 판정
gemma3:4b 4B 78.5 tok/s 3.2GB 여유
llama3.1:8b 8B 44.8 tok/s 4.9GB 여유
qwen3:8b 8B 42.1 tok/s 4.9GB 여유
deepseek-r1:8b 8B 38.7 tok/s 5.2GB 빠듯
qwen3.5:9b 9B 48.2 tok/s 6.6GB 빠듯
qwen3-coder:30b 30B 18.2 tok/s 18GB 오프로드

마지막 줄을 주의해서 보십시오. 30B가 18.2 tok/s로 돌아간 것처럼 보이지만 VRAM에 올라간 게 아닙니다. 18GB짜리 모델이 8GB 카드에 들어갈 수 없습니다. 넘친 부분이 시스템 메모리로 내려간 오프로드 상태이고, 그래서 8B보다 느립니다. ‘돌아간다’와 ‘VRAM에 올라간다’는 다른 말입니다.

흥미로운 건 9B가 8B보다 빠르게 측정됐다는 점입니다. 모델 구조가 달라 생기는 역전이고, 파라미터 수와 속도가 비례하지 않는다는 증거입니다. 다만 6.6GB를 쓰므로 컨텍스트 여유는 8B 쪽이 낫습니다.

8GB로 버티는 방법

  1. 컨텍스트를 먼저 줄인다. KV 캐시는 길이에 비례하므로 32K를 8K로 줄이면 캐시가 4분의 1이 된다.
  2. 모델을 8B급으로 고정한다. 9B 이상은 여유가 사라져 긴 대화에서 터진다.
  3. 브라우저를 닫는다. 모니터 출력과 웹 페이지가 수백 MB를 가져간다. 8GB에서는 그게 크다.
  4. 그래도 모자라면 양자화를 Q4에서 Q3으로 내린다. 품질이 떨어지므로 마지막 수단이다.

반대 방향도 있습니다. Q4에서 Q5로 올리면 품질은 조금 오르지만 VRAM이 약 20% 늘어납니다. 8GB에서는 그 20%를 감당할 공간이 없습니다. 여유가 생기면 올리고, 아니면 Q4를 유지하십시오.

3070을 계속 쓸 것인가

8B급으로 충분하면 바꿀 이유가 없습니다. 448GB/s 대역폭이 8B 구간에서는 충분히 빠릅니다. 문제는 12B 이상을 쓰고 싶어질 때인데, 그때는 2GB를 더 구하는 게 아니라 구간을 바꿔야 합니다.

참고로 같은 세대 RTX 3060은 12GB입니다. 게임 성능은 3070이 위지만 로컬 LLM 적재량은 3060이 위입니다. VRAM은 나중에 늘릴 수 없으니 용도가 바뀌었다면 이 역전을 고려하셔야 합니다. 확인 방법은 VRAM 뜻과 확인 방법에 있습니다.

자주 묻는 질문

RTX 3070의 VRAM은 몇 GB인가요?

8GB입니다. 3070 Ti도 8GB로 같고, 차이는 메모리 종류(GDDR6 대 GDDR6X)와 전력입니다.

3070으로 12B 모델을 돌릴 수 있나요?

Q4 기준 약 10.0GB가 필요해 VRAM에 올라가지 않습니다. 실행은 되지만 오프로드되어 속도가 급락합니다.

3070과 3060 12GB 중 로컬 LLM에는 뭐가 낫나요?

적재량만 보면 3060입니다. 12B급까지 올라갑니다. 8B급만 쓴다면 3070이 더 빠릅니다.

VRAM이 부족하면 어떤 증상이 나타나나요?

오류 없이 느려지기만 합니다. 초당 수십 토큰에서 한 자릿수로 떨어지는데, 원인을 모르고 쓰는 경우가 많습니다. 모델 정리는 Ollama 설치와 모델 삭제를 참고하십시오.

RTX 3070 8GB · Windows 11 · Ollama · Q4_K_M 환경에서 측정한 값입니다. 필요 VRAM은 가중치와 KV 캐시, 활성화 메모리의 합으로 계산했으며 컨텍스트 길이에 따라 달라집니다. 기준 2026-10.

답글 남기기