네모트론 3.5 볼트는 엔비디아가 공개한 오픈웨이트 에이전트 모델로 74B-A9B와 E4B 두 종류입니다. 74B-A9B를 RTX 3090 24GB에서 돌리려면 22.02GB짜리 IQ2_XXS 양자화가 최소선이고, 한국어 보증이 있는 건 Gemma 4 기반 E4B 쪽입니다 (공식 74B 카드 언어 목록에 한국어가 없음). 이 글에서 GGUF 용량 실측표, 그래픽카드별 실행 판단, 국내 시세 기준 견적까지 전부 계산해 보여줍니다.
네모트론 3.5 볼트가 뭐하는 모델인가
엔비디아 Nemotron 3.5 계열 중 Bolt는 빠른 로컬 추론용 파생 라인입니다. Hugging Face에 올라온 공식 카드는 두 개입니다.
| 모델 | 구조 | 활성 파라미터 | 컨텍스트 | 입력 | HF 최초 등록 |
|---|---|---|---|---|---|
| Nemotron-3.5-Bolt-74B-A9B | Mamba-2·Transformer 하이브리드 LatentMoE + C-RADIO v4-H 비전 인코더 | 9B (총 74B) | 최대 256K 토큰 | 텍스트·이미지·영상 | 2026-10-07 (GGUF) |
| Nemotron-3.5-Bolt-E4B | Gemma-4-E4B 기반 (NVIDIA 후학습) | 4B 유효 (총 8B) | 입·출력 각 최대 64K 토큰 | 텍스트 (mmproj로 비전) | 2026-10-24 (GGUF) |
라이선스는 둘 다 OpenMDW-1.1로 상업 이용이 가능합니다. E4B는 기반 모델이 Apache 2.0인 Gemma 4라 계열 중 유일하게 다국어(35개) 목록을 상속받았습니다. DFlash라는 초경량 드래프터(74B용 NVFP4 1.0GB, E4B용 Q8_0 0.4GB)를 붙이면 추측 디코딩으로 속도를 더 끌어올릴 수 있습니다.
네모트론 3.5 볼트 74B-A9B, VRAM 몇 GB에서 도나 — GGUF 용량 실측표
Unsloth GGUF 저장소에서 파일 크기를 직접 세면 실행 가능 그래픽카드가 바로 정해집니다. 용량은 2026-10-25 Hugging Face API 실측값입니다.
| 양자화 | 가중치 용량 | 24GB (3090 중고) | 32GB (5090) | 128GB 통합 메모리 (M5 Max) |
|---|---|---|---|---|
| UD-IQ1_S | 18.51GB | 간신히 (여유 5.49GB) | 가능 | 가능 |
| IQ2_XXS (공식 24GB 빌드) | 22.02GB | 가능 (여유 1.98GB) | 가능 | 가능 |
| UD-IQ2_M | 24.61GB | 부족 (0.61GB 초과) | 가능 (여유 7.39GB) | 가능 |
| UD-Q3_K_XL | 39.03GB | 불가 | 불가 (7.03GB 초과) | 가능 |
| UD-Q4_K_XL (3샤드 합계) | 50.22GB | 불가 | 불가 | 가능 (여유 77.78GB) |
| Q8_0 (3샤드 합계) | 78.85GB | 불가 | 불가 | 가능 (여유 49.15GB) |
| BF16 (4샤드 합계) | 148.21GB | 불가 | 불가 | 불가 — RAM 초과, SSD 오프로드 필요 |
계산 기준: 가중치에 CUDA 컨텍스트·KV 캐시 오버헤드 1~2GB를 더해서 판정했습니다. Mamba-2 하이브리드라 KV 캐시 성장률은 일반 트랜스포머보다 완만하지만, 256K 컨텍스트를 다 쓰면 오버헤드가 커지므로 위 여유 용량은 짧은 컨텍스트 기준입니다. 결론은 단순합니다 — 24GB 카드의 진입선은 IQ2_XXS(22.02GB)이고, IQ1_S는 1비트대라 품질 손실이 커서 실사용 추천은 피합니다. 32GB 카드라면 IQ2_M(24.61GB)이 적정선이고, Q3_K_XL 이상은 2장 구성이나 통합 메모리 맥으로 가야 합니다. 다른 모델까지 넓게 보려면 모델 크기별 필요 VRAM 실행표를 함께 보세요.
한국어는 74B가 아니라 E4B — 언어 목록이 갈린다
공식 74B-A9B 카드의 언어 필드는 en·es·fr·de·it·ja 6개뿐, ko가 없습니다. 반면 E4B 카드는 35개 언어에 ko를 명시합니다(Gemma 4 상속). 한국어 어시스턴트로 쓸 거면 모델 크기와 무관하게 E4B가 답이라는 뜻입니다. 용량도 훨씬 작습니다.
| 양자화 | 가중치 용량 | 8GB (5060) | 12GB (5070) | 16GB (5070 Ti) |
|---|---|---|---|---|
| UD-Q2_K_XL | 3.74GB | 가능 (여유 4.26GB) | 가능 | 가능 |
| Q4_K_M (권장) | 5.16GB | 가능 (여유 2.84GB) | 가능 | 가능 |
| Q6_K | 6.45GB | 간신히 (여유 1.55GB) | 가능 | 가능 |
| Q8_0 | 8.03GB | 불가 (0.03GB 초과) | 가능 (여유 3.97GB) | 가능 |
| BF16 | 15.05GB | 불가 | 불가 (3.05GB 초과) | 간신히 (여유 0.95GB) |
속도 상한을 공개 스펙으로 역산하면 이렇습니다(실측 아님, 상한): 토큰 생성 시 읽는 양은 유효 4B × 0.5바이트 = 약 2GB. RTX 5070 대역폭 672 GB/s로 나누면 이론 상한 약 336 tok/s, RTX 4060 Ti 16GB(288 GB/s)는 약 144 tok/s입니다. 실제론 오버헤드로 이의 30~60%가 나오지만 어시스턴트 용도로는 충분한 체감 속도입니다. 벤치마크는 Q4_K_M에서 MultiChallenge 55.60, IFBench 64.00으로 같은 조건의 Gemma 4 E4B-it(39.36 / 42.67)보다 확실히 높습니다 — 에이전트·도구 호출 위주로 후학습한 결과입니다.
그래픽카드 사려면 얼마? — 10월 25일 국내 시세 기준
위 판단표에 나온 카드를 오늘 수집한 다나와·검색 최저가 기준으로 정리했습니다(기준 2026-10-25 14:02 KST, 판매점 샘플 수 표기).
| 카드 | 최저가 | 중위가 | 샘플 | 네모트론 3.5 기준 용도 |
|---|---|---|---|---|
| RTX 5060 8GB | 799,000원 | 799,000원 | 1 | E4B Q4_K_M (가성비 진입) |
| RTX 5070 12GB | 1,089,000원 | 1,339,000원 | 16 | E4B Q8_0 + 긴 컨텍스트 |
| RTX 5070 Ti 16GB | 1,579,000원 | 1,990,000원 | 9 | E4B Q8_0 풀옵션 + 이미지 생성 겸용 |
| RTX 3090 24GB (중고) | 1,700,000원 | 1,750,000원 | 2 | 74B-A9B IQ2_XXS 진입선 |
| RTX 5090 32GB | 8,590,000원 | 9,899,000원 | 5 | 74B-A9B IQ2_M (24.61GB) |
GB당 단가로 보면 3090 중고는 중위 1,750,000원 ÷ 24GB = GB당 약 7.3만 원, 5090은 최저 8,590,000원 ÷ 32GB = GB당 약 26.8만 원으로 4배 가까이 벌어집니다. “74B급을 가장 싸게”가 목표라면 아직은 중고 3090 시세 총정리에서 확인하듯 중고 3090이 이기고, “한국어 어시스턴트를 조용하고 빠르게”가 목표라면 5060/5070이 맞습니다.
| 독자 | 추천 구성 | 예상 비용 (GPU+RAM) | 이유 |
|---|---|---|---|
| 학생 (100만 원 이하) | RTX 5060 8GB + RAM 32GB | 약 105만 원 | E4B Q4_K_M 5.16GB가 핵심, 나머지는 OS·모델 캐시 여유분 |
| 연구실 (200만 원대) | 중고 3090 + 기존 본체 | 약 175만 원 | 74B-A9B IQ2_XXS + 24GB로 파인튜닝 겸용 |
| 직장인 (300만 원대) | RTX 5070 Ti 16GB + RAM 64GB | 약 230만 원 | E4B Q8_0을 컨텍스트 여유 있게, 소음·전력 대비 성능 |
실행 방법 — llama.cpp 기준 명령
공식 카드의 Quick Start를 그대로 씁니다. E4B 예시:
hf download nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB \ Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf --local-dir ./bolt docker run --rm --gpus all -p 8000:8000 \ -v "$PWD/bolt:/models:ro" \ ghcr.io/ggml-org/llama.cpp:server-cuda13-b11459 \ -m /models/Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf \ -c 65536 -ngl 999 --jinja
thinking 모드는 chat template의 enable_thinking 파라미터로 켜고 끄며, 권장 샘플링은 temperature 1.0·top_p 0.95입니다. Ollama 레시피는 아직 대기 중이라 llama.cpp 또는 LM Studio GGUF 로드를 씁니다. 같은 계열 모델의 양자화 용량 계산이 필요하면 Qwen 27B VRAM·양자화 실측이 참고됩니다. 74B-A9B는 vLLM(Ampere 이상) 레시피가 공식 경로이고, GGUF 메탈 빌드는 mlx-community 등 커뮤니티 산하에 있습니다.
자주 묻는 질문
네모트론 3.5 볼트는 무료인가요?
가중치 다운로드는 무료이고 OpenMDW-1.1 라이선스로 상업 이용도 가능합니다. E4B의 기반인 Gemma 4는 Apache 2.0입니다.
RTX 4060 Ti 16GB에서 74B가 되나요?
GGUF 최소 파일이 18.51GB(IQ1_S)라서 16GB로는 가중치 자체가 안 들어갑니다. 4060 Ti 16GB는 E4B 라인(Q8_0 8.03GB)까지가 한계입니다.
한국어 품질은 어느 쪽이 나은가요?
E4B입니다. 74B-A9B 공식 카드 언어 목록에 ko가 없어 한국어 보증이 없고, E4B는 Gemma 4의 35개 언어 목록에 ko가 포함됩니다. 한국어 기준 비교 실측 데이터는 아직 없으므로 확정은 아니지만, 언어 목록이 유일한 공식 근거입니다.
M5 맥북에서 돌릴 수 있나요?
E4B는 mlx-community의 OptiQ 4bit 빌드가 이미 올라와 있습니다. 74B-A9B Q4_K_XL(50.22GB)은 RAM 64GB 모델에서는 빠듯하고 128GB 모델에서 컨텍스트 여유 있게 돌아갑니다.
출처/기준: Hugging Face 공식·Unsloth GGUF 카드 파일 크기와 언어 필드(2026-10-25 API 실측), 다나와·검색 수집 국내 시세(2026-10-25 14:02 KST, 판매점 샘플 수 표기), GPU 대역폭은 NVIDIA 공개 스펙. 속도 상한은 실측이 아닌 대역폭 역산 근사치입니다.
답글 남기기