12GB SURVIVAL
12GB에서 도는 실측 속도 모델 4종입니다. 가장 빠른 건 llama3.1:8b 100.8 tok/s이고, 12GB 카드 최저가는 오늘 524,000원(52만원)입니다.
| # | 모델 | tok/s | 가중치 |
|---|---|---|---|
| 1 | llama3.1:8b | 100.8 | 4.9GB |
| 2 | deepseek-r1:8b | 79.7 | 5.2GB |
| 3 | qwen3.5:9b | 73.0 | 6.6GB |
| 4 | phi4:14b | 45.8 | 9.1GB |
속도는 M5 Max 실측 기준이고, CUDA 카드는 대역폭(5070 672GB/s) 비율로 환산하면 됩니다. 환산식: M5 Max 546GB/s 대비 5070은 1.23배, 4060 Ti(288GB/s)는 0.53배입니다. 예를 들어 표의 llama3.1:8b 100.8 tok/s는 5070에서 약 124 tok/s, 4060 Ti에서 약 53 tok/s로 예상됩니다. 양자화 파일 크기별 VRAM 소모는 양자화 사다리, 로드 가능 모델 전체는 VRAM 모델별 표에서 보세요.
표 해석: 속도 최상단(qwen3-coder·gpt-oss)은 코딩·범용 챗봇 주력이고, llama3.1:8b는 구조화된 출력 안정성이 좋아 파이프라인 백그라운드 작업용입니다. deepseek-r1:8b는 추론 특화라 토큰 속도는 중간이지만 답변당 thinking 토큰을 써서 품질을 뽑습니다. 12GB 환경에서는 이 3~4종을 용도별로 돌려쓰는 구성이 실전이고, 모델 교체는 Ollama 기준 Ollama 설치·삭제 가이드대로 캐시 관리와 디스크 여유를 챙기세요.
자주 묻는 질문
llama3.1이 왜 코딩표 1위 아래인가요?
A. 속도표 정렬은 tok/s 순이라 8B가 30B를 이깁니다. 코드 품질은 qwen3-coder:30b(18GB 구간)가 상위라, 12GB 카드에서는 llama3.1이 속도 담당·코드는 경량 모델 분담이 정석입니다.
12GB에서 70B는 되나요?
A. Q3 이하 초저양자화만 올라가고 실사용 속도는 10 tok/s 미만입니다. 추론 체감은 32B급까지입니다.
코딩 특화는 뭔가요?
A. llama3.1:8b가 속도·품질 균형 1위입니다. Q4 18GB 카드를 쓰면 TOP급입니다.
카드 최저가는 어디서 갱신되나요?
A. 매일 새벽 이 사이트 시세표에서 갱신됩니다. 오늘 12GB 최저는 52만원입니다.
출처: 제조사 공식 스펙과 공개 유통 가격 기준. 가격·스펙은 변동될 수 있으므로 구매 전 최신 정보를 확인하세요.
답글 남기기