Nemotron 3 울트라(NVIDIA-Nemotron-3-Ultra-550B-A55B)는 RTX 4090 한 장에서는 실행 불가능합니다. 오늘 Hugging Face API로 직접 세본 최소 양자화(IQ1_M) 파일 합계가 188.0GB로, 4090 VRAM 24GB의 약 7.8배이기 때문입니다. 한 장에서 실제로 올라가는 선은 Nano 계열(Nano Omni 30B-A3B Q4_K_M 22.42GB)까지이고, Super 120B-A12B는 CPU 오프로드 조건부입니다. 이 글에서 가족 라인업, 양자화별 용량 실측표, 4090 실행 판단 산식, 11월 중고 시세까지 전부 계산해 보여줍니다.
Nemotron 3 울트라가 속한 라인업 — Nano·Super·Ultra 정리
엔비디아 Nemotron 3는 오픈웨이트·오픈데이터·학습 레시피를 함께 공개하는 모델 가족입니다. 2026년 11월 기준 텍스트 생성 축의 3단 구성과 공개일·공식 최소 GPU는 아래와 같습니다.
| 모델 | 총/활성 파라미터 | 공개일(HF·연구 블로그 기준) | 아키텍처 | 컨텍스트 | 공식 최소 GPU |
|---|---|---|---|---|---|
| Nemotron 3 Nano 30B-A3B | 30B / 3B | 2025-12-15 (FP8 카드) | Mamba-2+MoE 하이브리드 | — | 40GB급(FP8) |
| Nemotron 3 Super 120B-A12B | 120B / 12B | 2026-03-11 (BF16 카드) | LatentMoE Mamba-2+Attention, MTP 내장 | 최대 1M 토큰 | 8x H100-80GB(BF16) |
| Nemotron 3 Ultra 550B-A55B | 550B / 55B | 2026-06-04 (연구 블로그) | LatentMoE Mamba-2+Attention, MTP 내장, NVFP4 사전학습 | 최대 1M 토큰 | NVFP4: 8x H100 또는 4x B200급 / BF16: 16x H100·8x H200 |
라이선스는 카드마다 다릅니다. Super BF16 카드는 NVIDIA Nemotron Open Model License, Ultra는 Linux Foundation의 OpenMDW-1.1을 명시했습니다. 둘 다 상업 이용 가능으로 표기되지만 조항이 달라 상용 배포 전 원문 확인이 필요합니다. 그리고 한국 사용자에게 중요한 점: Super 공식 카드의 언어 목록은 영어·프랑스어·독일어·이탈리아어·일본어·스페인어·중국어 7개뿐, 한국어는 목록에 없습니다. 이는 지난글 Nemotron 3.5 Bolt 로컬 VRAM 실측에서 확인한 74B 카드와 같은 패턴입니다.
Nemotron 3 울트라 GGUF 용량 실측 — 양자화별 표
unsloth GGUF 저장소(NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF)의 파일 크기를 2026-11-15 Hugging Face API로 합산 실측했습니다. 샤드까지 전부 더한 값이라 다운로드 용량과 그대로 일치합니다.
| 양자화 | 파일 합계 (2026-11-15 실측) | 4090 24GB 대비 배율 |
|---|---|---|
| UD-IQ1_M | 188.0 GB | 7.8배 |
| UD-IQ2_XXS | 193.8 GB | 8.1배 |
| UD-Q2_K_XL | 202.2 GB | 8.4배 |
| UD-IQ3_XXS | 223.3 GB | 9.3배 |
| UD-Q3_K_XL | 274.3 GB | 11.4배 |
| UD-IQ4_XS | 286.1 GB | 11.9배 |
| MXFP4_MOE | 352.3 GB | 14.7배 |
| UD-Q4_K_XL | 360.2 GB | 15.0배 |
| Q8_0 | 584.3 GB | 24.3배 |
| BF16 (24샤드) | 1,099.0 GB | 45.8배 |
교차 검증: MXFP4_MOE 352.3GB는 커뮤니티 감사가 보고한 공식 NVFP4 체크포인트 디스크 용량 약 352.4GB와 일치합니다. llmrun.dev는 임베딩 포함 560.5B 기준 BF16을 1,233.2GB, Q4_K_M을 369.9GB(KV 캐시 포함 권장 481GB 이상)로 제시하는데, GGUF 빌드와 카운트 기준 차이가 이 정도 폭입니다. 어느 쪽을 잡아도 결론은 같고, llmrun.dev는 “어떤 단일 GPU에도 메모리가 부족하다”고 못 박습니다.
RTX 4090 한 장에서 되나요 — 용량 산식
계산은 단순합니다. 가중치 합계를 VRAM으로 나누고, 컨텍스트·KV 캐시 여유 1~2GB를 뺍니다.
- Ultra IQ1_M: 188.0 / 24 = 7.83 → 4090을 쌓아도 8장(192GB)에야 겨우 올라가고 KV 여유가 4GB뿐입니다. 단일 카드는 논의 대상이 아닙니다.
- Super IQ2_XXS: 52.7 / 24 = 2.20 → VRAM 초과분 28.7GB. llama.cpp의 MoE 오프로드(–n-cpu-moe)로 전문가층을 시스템 RAM에 두면 적재 자체는 가능합니다. 조건은 64GB 이상 RAM.
- Nano Omni Q4_K_M: 22.42GB + mmproj Q8_0 1.74GB = 24.16GB → 순수 텍스트는 들어가고(여유 1.58GB), 비전까지 붙이면 컨텍스트를 짧게 잡아야 하는 아슬아슬 선.
여기서 MoE의 함정 하나. 활성 파라미터가 55B(전체의 10%)라도 모든 가중치가 GPU에 있거나 고속 연결로 접근 가능해야 합니다. 엔비디아 TensorRT-LLM 배포 가이드도 파라미터 전량 적재를 명시합니다. 활성 비율이 작다고 24GB에 들어가는 게 아닙니다.
4090에서 실제로 도는 것 — Nano Omni Q4와 Bolt IQ2
| 후보 | 가중치 용량(실측) | 24GB 판단 | 비고 |
|---|---|---|---|
| Nemotron 3 Nano 4B GGUF (공식) | 2.84 GB | 가능 — 여유 약 21GB | 단일 파일, 컨텍스트 여유 큼 |
| Nemotron 3 Nano Omni 30B-A3B Q4_K_M (ggml-org) | 22.42 GB | 가능 — 여유 1.58GB | mmproj Q8_0 1.74GB 별도, 영상 입력 지원 |
| Nemotron 3.5 Bolt 74B-A9B IQ2_XXS (공식 24GB 빌드) | 22.02 GB | 가능 — 여유 1.98GB | 지난글에서 용량 실측 검증 완료 |
| Nemotron 3 Super 120B-A12B IQ2_XXS | 52.7 GB | 오프로드 조건부 | GPU 24GB + RAM 약 35~40GB 분담 |
| Nemotron 3 Ultra 550B-A55B IQ1_M | 188.0 GB | 불가 | 오프로드도 RAM 192GB 이상+대역폭 한계 |
4090 주력 용도는 위 표의 윗줄 두 개, 즉 Nano 계열을 편하게 돌리는 선입니다. Bolt IQ2_XXS는 이미 지난 Nemotron 3.5 Bolt 실측 편에서 표로 검증했습니다.
속도 기대치 — 공개 실측 앵커와 오프로드 산식
직접 벤치는 하지 않고, 공개 실측 두 개로 기대치를 샌드위치처럼 끼워 봅니다. 앵커 기준은 GPU별 LLM 실측 속도 허브에 정리한 llamaperf 커뮤니티 값: RTX 4090에서 Qwen3.8 27B Q4(dense)가 31.5 tok/s였습니다(2026-10-21 기준, 단일 요청·가속 없음). Nano Omni는 활성 3B로 이보다 읽는 양이 훨씬 적어 같은 카드에서 더 빠를 것으로 보이지만, 4090 Nano Omni 실측 공개치는 아직 못 찾았습니다 — 자신 있게 숫자를 던지지 않겠습니다.
- Ultra Q4 실측 앵커: llmrun.dev 기준 DGX A100 640GB에서 Q4_K_M 약 29 tok/s, Mac Studio M3 Ultra 512GB에서 약 2 tok/s. 용량이 채워져도 대역폭이 결정합니다.
- 엔비디아 공식: 4x B200 에이전틱 워크로드에서 GPU당 310.8 tok/s, MTP(추측 디코딩)를 끄면 175.9로 하락(+76%). Blackwell 세대 한정 이득이고, 4090 Ada는 NVFP4 텐서코어가 없어 NVFP4 체크포인트 이득을 그대로 못 씁니다.
- Super 오프로드 산식(추정, 실측 아님): 활성 12B가 토큰당 읽는 양을 IQ2 기준 약 3.1~5.3GB로 잡으면, PCIe 4.0 유효 전송률 약 25GB/s에서 상한이 약 3~8 tok/s. 체감 ‘대화 불가’는 아니지만 에이전트 루프용은 아닙니다.
- Ultra 오프로드 산식(추정): 활성 55B가 토큰당 약 11.6GB(IQ1_M) → DDR5 듀얼채널 유효 70GB/s에서 상한 약 6 tok/s, 실현실은 M3 Ultra 512GB 앵커처럼 1~3 tok/s.
살까 말까 — API 가격과 손익분기 (11월 시세)
Ultra급을 ‘쓰는 것’이 목적이라면 로컬은 접고 API가 이깁니다. OpenRouter listings 기준 DeepInfra의 Nemotron 3 Ultra 가격은 입력 $0.50 / 출력 $2.20 (1M 토큰당, 2026-07 조회). 같은 보고서는 4x B200 자가호스팅을 완전 가동해도 출력 $6/1M토큰으로 API의 약 2.7배로 계산합니다. 로컬 4090은 여기 비교 대상조차 아닙니다 — Ultra가 안 돌아가니까요.
| 카드 (11월 자사 추적, KST 15:02) | 시세 | Nemotron 3 실행 선 |
|---|---|---|
| RTX 4090 24GB 중고 | 중앙값 3,200,000원 (11/11~13), 최저 샘플 2,700,000원 / 오늘 단일 샘플 3,991,666원 | Nano Omni Q4·Bolt IQ2 가능 |
| RTX 3090 24GB 중고 | 오늘 중앙값 1,700,000원 (n=4) | 동일 — 단 Ada 대비 속도 열위 |
| RTX 5070 Ti 16GB 신규 | 중앙값 2,200,000원 (n=8) | Nano 4B만 — Q4_K_M 22.42GB 불가 |
| RTX 5090 32GB 신규 | 중앙값 12,000,000원 (n=2), 최저 8,590,000원 | Nano 전량 + dense Q4 주력 라인 |
전기세 기준선은 GPU 전기세 24시간 가동표에 있습니다(4090급 24h 약 월 27,000원).
예산별 구매 판단 — 학생·연구실·직장인
- 학생(150만원 이하): 중고 3090 24GB(중앙값 170만원)가 Nano Omni Q4·Bolt IQ2 구간에 딱 맞습니다. Ultra급이 필요하면 API $0.5/$2.2를 쓰세요. 카드 두 장보다 이문이 큽니다.
- 연구실(400만원대): 중고 4090 한 장 + RAM 64GB. Nano 계열은 편하게, Super는 오프로드로 ‘데모 가능’ 선까지. 실험 재현성·파인튜닝이 목적이라면 24GB 두 장(3090×2)도 후보입니다.
- 직장인(1,000만원대): 신규 5090은 Nemotron이 아니라 dense Q4 주력 카드로 삽니다. Ultra IQ1_M 188GB는 DGX Spark 여러 대를 묶는 다중 노드 영역이라 개인 예산 테이블에서 빼는 게 정신 건강에 좋습니다.
자주 묻는 질문
Nemotron 3 울트라는 RTX 4090 한 장에서 되나요?
아닙니다. 오늘 실측한 최소 양자화 IQ1_M이 188.0GB로 VRAM 24GB의 약 7.8배입니다. 같은 카드를 8장(192GB)을 써도 KV 여유가 4GB뿐이라 사실상 데이터센터 영역입니다.
그럼 4090에서 Nemotron은 뭘 돌릴 수 있나요?
Nano 4B GGUF(2.84GB)와 Nano Omni 30B-A3B Q4_K_M(22.42GB), 그리고 Nemotron 3.5 Bolt IQ2_XXS(22.02GB)까지가 실행 선입니다. 컨텍스트는 짧게, 비전 mmproj를 붙이면 더 짧게 잡아야 합니다.
CPU 오프로드로 Super나 Ultra를 돌릴 가치가 있나요?
Super는 64GB 이상 RAM에서 토큰당 수 GB를 PCIe로 읽으며 약 3~8 tok/s(추정)라 간단한 질의용입니다. Ultra는 상한이 약 6 tok/s, 실측 앵커는 512GB 통합 메모리에서 2 tok/s — 대화·에이전트 용도로는 API($0.5/$2.2)가 압도적으로 쌉니다.
한국어는 되나요?
공식 카드 언어 목록에 한국어가 없습니다. Super는 7개 언어(en/fr/de/it/ja/es/zh), Bolt 74B 카드도 같은 상황이 지난 실측 편에서 확인됐습니다. 한국어 품질은 커뮤니티 후기로 검증하고 진입하세요.
기준: 2026-11-15(KST). GGUF 용량은 Hugging Face API로 unsloth·ggml-org·nvidia 저장소 파일을 직접 합산 실측(2026-11-15). 가격은 자사 다나와·커뮤니티 추적치(2026-11-15 15:02 KST, 표본 수 병기). 속도 추정치는 산식이며 실측이 아니고, 공개 실측 인용의 기준일과 출처는 링크된 허브 글에 있습니다. — dailyml8
답글 남기기