Mistral Large 4 로컬 실행 — 필요 VRAM 정리(11월판)

Mistral Large 4 오픈웨이트가 2026년 10월 29일 Hugging Face에 공개됐습니다. FP8 체크포인트는 1.06TB, NVFP4는 610GB라 Mistral Large 4 로컬 실행은 소비자용 그래픽카드 한 장으로는 스펙상 불가능하고, 최소 기준이 4x B200급 데이터센터 노드입니다. 이 글에서는 두 체크포인트의 용량 계산, RTX 5090·4090 보유자 판정표, 렌탈 비용과 API 손익분기점을 모두 계산으로 보여줍니다.

Mistral Large 4 공개 스펙은?

항목	내용
공개일	2026-10-06 API 프리뷰, 2026-10-29 오픈웨이트 공개(Hugging Face)
Hugging Face 저장소	mistralai/Mistral-Large-4-1T-A52B
총 파라미터	1.05T (세밀한 MoE 구조)
활성 파라미터	52B (임베딩·출력 레이어 포함, 발표문상 49B는 제외 값)
모달리티	텍스트+이미지 입력 (비전 인코더 1.6B 별도)
컨텍스트	1M 토큰
체크포인트	FP8 1.06TB, NVFP4 610GB (BF16 배포 없음)
라이선스	Mistral Ecosystem Open-Weight License (수정 MIT)

코드는 61.7%(DeepSWE 1.1), 사이버보안 취약점 재현 82%, Cybench 93%로 공개 모델 최상위권입니다. 유럽 자체 데이터센터의 Grace Blackwell GPU 3,800장으로 학습했고, 30억 유로 시리즈D로 다음 세대를 학습 중이라는 게 미스트랄 쪽 설명입니다(기준 2026-11-08).

활성 파라미터가 50B인데 왜 안 돌아가나 — MoE VRAM 계산

MoE는 토큰마다 52B만 계산하지만, 라우터가 매번 다른 전문가(expert)를 고르기 때문에 1.05T 파라미터 전체가 메모리에 상주해야 합니다. 활성 파라미터가 절약하는 건 연산이지 VRAM이 아닙니다.

정밀도	계산	웨이트 용량	운영 여유 +20%
BF16 (미배포)	1.05T x 2바이트	약 2.1TB	약 2.5TB
FP8 (공식)	1.05T x 1바이트	1.06TB (HF 실측)	약 1.27TB
NVFP4 (공식)	1.05T x 4비트	610GB (HF 실측)	약 730GB

+20%는 활성화값·런타임 오버헤드·KV 캐시를 위한 여유로, vLLM 배포 계산에서 쓰는 계상 방식입니다. 1M 토큰 컨텍스트를 실제로 길게 쓰면 KV 캐시분이 이 여유를 더 깎아먹기 때문에 FP8 KV 캐시가 사실상 필수입니다.

RTX 5090·4090으로 되나요 — 소비자 GPU 판정표

보유 환경	총 VRAM	NVFP4(운영 730GB) 대비	판정
RTX 5090 32GB 1장	32GB	4.4%	불가 (공식 경로 없음)
RTX 4090 24GB 3장	72GB	9.9%	불가 — 730GB까지는 약 31장 분량
중고 3090 24GB 8장	192GB	26.3%	불가 (NVFP4 카드는 Blackwell 최적화)
Mac Studio M5 Ultra 512GB	512GB 통합	70.1%	NVFP4 미달 — 커뮤니티 추가 양자화에서만

공식 체크포인트 중 소비자 카드에 들어가는 크기가 아예 없습니다. 5090 32GB는 NVFP4 웨이트(610GB)의 5.2%에 불과합니다. Mac Studio 512GB는 국내 가격이 로컬 LLM용 Mac Studio M5 Ultra 512GB 국내가 3,805만원인데도 610GB를 못 담아서, Hugging Face의 커뮤니티 GGUF 추가 양자화(3비트급) 영역입니다. 이 경우 속도는 메모리 대역폭 제한으로 1~2 tok/s 수준에 그칠 가능성이 높아(미검증, 실측값 공개 전) 체감용이라기보다 검증용입니다.

Mistral Large 4 로컬 실행 최소 구성과 렌탈 비용

구성	총 메모리	NVFP4 730GB	FP8 1.27TB
8x H100 80GB	640GB	불가 (여유 30GB뿐)	불가
4x B200 192GB	768GB	가능 (미스트랄 공식 권고)	불가
8x H200 141GB	1,128GB	가능 + 롱컨텍스트 여유	불가 (웨이트만 1.06TB)
4x B300 288GB	1,152GB	가능 + 롱컨텍스트 여유	불가 (여유 20GB)
8x B200	약 1.5TB	가능	가능

렌탈 시세는 Spheron 기준 8x H200 노드가 시간당 38.40달러(2026-11-08)입니다. 월 720시간 상시 가동하면 38.40 x 720 = 27,648달러, 환율 1,364원(11-06 종가 기준) 적용 시 약 3,771만원/월입니다. 즉 한 달 렌탈비가 Mac Studio 512GB 한 대 값과 맞먹습니다.

API vs 로컬 — 손익분기 계산

공식 API 가격은 입력 100만 토큰당 $0.7(약 955원), 캐시 입력 $0.07, 출력 $2.1(약 2,864원)입니다. 위 렌탈비 27,648달러/월과 비교하면:

사용 형태	월 사용량	API 월 비용
출력 중심	약 13.2B 토큰 (일 4.4억)	렌탈비와 동일
입력 중심(롱컨텍스트 RAG)	약 39.5B 토큰	렌탈비와 동일
일반 연구실 사용 (일 0.1B)	약 3B 토큰	약 210만원 이하

손익분기점은 월 130억 토큰 안팎입니다. 개인·연구실 규모가 이 걸치를 넘는 일은 드물어서, 로컬 실행의 이유는 비용이 아니라 데이터 주권·오프라인·파인튜닝입니다. 같은 예산이면 GPU별 Qwen 27B 실측 토큰 속도표의 27B급을 로컬에서 돌리는 쪽이 체감이 낫습니다.

수정 MIT 라이선스 — 무엇을 하고 무엇을 못 하나

가능	조건부/불가
상업적 사용·수정·파인튜닝·배포, 모델이 기능으로 내장된 제품 판매	MaaS: 제3자에게 API·호스팅으로 모델 접근을 넘기는 사업은 미스트랄 별도 상업 라이선스 필요
사내 자체 서비스, 임베디드 제품	(제휴사 포함 MaaS 판정 주의)

서빙은 vLLM(텐서 병렬 8 레시피, 전용 도커 이미지)이 권고이고 SGLang·llama.cpp도 지원 목록에 있습니다. 추측 디코딩용 드래프트 헤드(DSpark)가 체크포인트에 내장돼 있습니다.

예산별 구매 판단 — 학생·연구실·직장인

독자	추천	근거
학생 (GPU 1장)	Mistral Large 4는 API로, 로컬은 8~27B급	5090(다나와 최저 770만원, 11-08)도 웨이트의 5%
연구실 (다중 GPU)	B200/B300 렌탈로 NVFP4 검증, 상시면 8x H200 견적	공식 권고 4x B200, 월 렌탈 약 3,771만원
직장인 (Mac 사용자)	512GB에서는 GGUF 실험만, 실사용은 30B급	NVFP4 610GB가 512GB 초과

자주 묻는 질문

Mistral Large 4 로컬 실행에 최소 그래픽카드 몇 장인가요?

공식 NVFP4 체크포인트(610GB) 기준 192GB급 B200 4장, FP8(1.06TB) 기준 8장입니다. 소비자 카드로는 24GB 환산 31장 분량이라 사실상 데이터센터 전용입니다.

Mistral Large 4는 완전 오픈소스인가요?

웨이트는 공개되지만 라이선스는 수정 MIT입니다. 자체 사용·파인튜닝·제품 내장은 자유, 모델을 API로 되파는 MaaS만 별도 계약입니다.

BF16 풀웨이트는 어디 있나요?

배포되지 않았습니다. 2.1TB로 직접 변환해야 하고, 그 경우 멀티노드(총 2.5TB 이상)가 필요합니다.

한국어 지원은 어떤가요?

학습 데이터가 160개 이상 언어를 포괄한다고 공식 발표에 명시돼 있으나, 한국어 벤치마크는 아직 공개되지 않았습니다(기준 2026-11-08).

출처/기준: Mistral 공식 발표(10-06)·Hugging Face mistralai/Mistral-Large-4-1T-A52B(10-29), Yotta Labs·Spheron 하드웨어 분석(10-30~11-08), 자사 다나와 시세 스크래치(11-08), 환율 1,364원(11-06 종가). 속도·GGUF 수치는 실측 공개 전이라 계산 근거만 표기.