kimi ollama 로컬 GGUF·VRAM 한계 (2026년 10월판)

2026년 10월 29일

· 읽는 시간 5분 · 데일리 딥러닝

kimi ollama의 오늘 답은 “클라우드”입니다. 10월 29일 기준 Ollama의 Kimi K3 목록에는 kimi-k3:cloud 태그 하나만 있고, 로컬 GGUF는 최소 594GB 파일에 RAM+VRAM 합산 610GB부터 시작합니다. K3.1 Pro 웨이트는 11월 4일 공개 약속이지만, 크기는 미동도 하지 않습니다.

kimi ollama, 오늘의 명령어는 클라우드뿐

다들 치고 싶은 건 이 한 줄입니다:

ollama run kimi-k3:cloud

Ollama 라이브러리의 Kimi K3 목록에는 태그가 이 하나뿐입니다. 요청은 Ollama 서버로 라우팅되고 요금 과금됩니다. 로컬 빌드는 없고, K3.1 Pro는 아직 목록에조차 없습니다. LM Studio도 Bionic 티어 클라우드 모델로만 K3를 제공합니다.

경로	모델·명령어	실행 위치	비용 기준
Ollama 클라우드	`kimi-k3:cloud`	Ollama 서버	입력 $3.00 · 출력 $15.00 / 1M 토큰 (캐시 입력 $0.30)
Kimi 공식 API	`kimi-k3.1-pro` · `-highspeed`	Moonshot 서버	highspeed는 출력 2~3배 빠르고 약 2배 가격
로컬 (llama.cpp)	Unsloth GGUF	내 기계	전기세뿐, RAM+VRAM 610GB 이상 필수

출처: Ollama 라이브러리 kimi-k3 목록(10-29 조회), Moonshot 공식 발표(10-23) 기준.

확정된 사실 하나: llama.cpp 메인라인은 8월 15일 Kimi-K3 텍스트 지원이 머지(PR #26185)됐습니다. 즉 로컬 경로는 존재하지만 주소는 Ollama가 아니라 llama.cpp이고, 이미지 입력은 여전히 Unsloth 포크 분기를 써야 합니다.

K3.1 Pro에 파일이 아직 없는 이유 — 11월 4일 기준선

K3.1 Pro는 10월 23일 앱, Kimi Work·Code, API로만 출시됐습니다. 총 파라미터 2.8조, 토큰당 활성 104B(896개 전문가 중 16개), 컨텍스트 1M 토큰 — K3와 같은 뼈대입니다. 공식 발표문은 “Open weights by November 4″로 끝납니다. 그 전까지 Hugging Face나 토렌트에 도는 ‘K3.1 로컬 파일’은 전부 K3 재태깅, API 래퍼, 위조품 중 하나입니다. 달력이 곧 진위 판정 기준입니다.

성능 성적표는 실제로 좋습니다. Artificial Analysis 지능 지수 4위(55점), Code Arena WebDev 8위(1,692점, K3 대비 +37), Cyber Index 64%로 공개 접근 최고 기록. 다만 그 성적표를 오늘 내 기계에서 만질 수 없다는 게 문제입니다.

GGUF 용량 사다리 — 최저선 594GB, 바닥 계산식

K3는 양자화 인지 학습으로 태어나 원래 4비트로 배포됐습니다. Unsloth이 대부분 가중치를 1~2비트로 밀어내고 핵심 층만 8비트로 올리며 손실 없는 원본 대비 보정했는데, 실측 파일 크기가 이렇습니다:

Unsloth K3 빌드	파일 크기	RAM+VRAM 바닥
Dynamic 1-bit S (UD-IQ1_S)	594GB	610GB
Dynamic 2-bit XXS (UD-IQ2_XXS)	711GB	726GB
Dynamic 2-bit XL (UD-Q2_K_XL)	861GB	880GB
8-bit (UD-Q8_K_XL)	1,560GB	약 1.6TB

경험칙은 RAM+VRAM 합산이 파일 크기와 같아야 한다는 것 — 모자라면 튕깁니다. IQ1_S 바닥 610GB를 현찰 계산으로 넘겨보면: 512GB Mac Studio 단독은 98GB 부족(610 – 512 = 98). llama.cpp 네트워크 모드로 두 번째 128GB 기계를 붙여 640GB(512 + 128)로 풀링하면 IQ1_S를 약 30GB 여유로 통과합니다. 사람이 만들 수 있는 최저 루트가 이겁니다.

610GB 창고, 한국 실거래가로 얼마인가

루트	계산식	금액	현실
DDR5 서버 (640GB)	32GB x 20 = 640GB	약 1,592만원	CPU 추론은 데모 속도 — 창고값 최저선 (32GB 79.6만원 기준, 10-04 실거래)
Mac 풀링 (640GB)	512GB + 128GB	본체 2대 합산	IQ1_S 통과, 붙이는 법은 분산 추론 실전편 참고
중고 3090 x 26 (VRAM 624GB)	180만원 x 26	약 4,680만원	서버급 전성비 — 다나와 수집 중개 median 180만원 (10-29 14:01)
클라우드 (kimi-k3:cloud)	입력 10만 + 출력 2만 토큰/일	약 $0.6/일	99% 개인에 정답

다운로드 계산도 별도: 594GB는 기가비트 회선(약 100MB/s)으로 약 1시간 40분. 월 1.2TB 상한 회선이면 절반이 한 번에 사라집니다.

kimi ollama 대안 — 오늘 12~24GB에서 도는 것

Kimi K3는 소비자 그래픽카드 어디에도 안 들어갑니다. RTX 5070 Ti가 최저가 157.9만원(다나와 수집, 10-29)인 시대에 카드만 사놓고 놀 수는 없으니, 사이트 실측 기준으로 “오늘 도는 것” 표를 씁니다:

하드웨어	실행 가능 대표 모델	실측 속도
12GB급 (5070 등)	qwen3:8b급	141 tok/s (상한)
RTX 4090 24GB	GPT-OSS-120B급 MoE	47 tok/s
M5 Max 128GB	Qwen-32B급	70.3 tok/s
Mac Studio 512GB	K3 IQ1_S는 미달 (98GB 부족)	–

Moonshot이 자기 비교표에 올린 오픈 모델 중 프로슈머 하드웨어에서 도는 건 DeepSeek V4.1-Flash입니다. Kimi를 쓰고 싶다면 11월 4일까지는 클라우드 태그가 정직한 답입니다.

예산별 결론 — 학생·연구실·직장인

학생 (100만원 미만): qwen3:8b급은 로컬로 돌리고, Kimi가 필요할 때만 kimi-k3:cloud를 치세요. Kimi 때문에 카드를 사는 건 본말전도입니다.
연구실 (1,000만~5,000만원): 지금은 지갑을 닫으세요. 11월 4일 웨이트 공개 후 보정된 1·2비트 빌드와 라이선스 조항을 확인하고, llama.cpp 네트워크 풀링(두 번째 기계)으로 IQ1_S를 노리는 게 최저선입니다.
직장인 (월 구독): API 정답입니다. highspeed는 2배 가격으로 2~3배 속도를 사니 장시간 코딩 에이전트엔 오히려 이득. 민감 데이터는 Zero Data Retention 약관 확인 후 넣으세요.

자주 묻는 질문

RTX 5070 Ti 16GB로 Kimi K3를 돌릴 수 있나요?

아니요. 파일 최저선이 594GB인데 VRAM은 16GB, 약 3%만 담깁니다. 클라우드 태그를 쓰거나 VRAM에 맞는 크기의 모델을 돌리세요.

kimi-k3:cloud와 로컬 실행의 차이는 뭔가요?

명령어는 같지만 추론이 Ollama 서버에서 일어납니다. 입력 1M 토큰 $3.00, 출력 $15.00(캐시 입력 $0.30)의 과금이 붙고, 프롬프트가 내 기계를 떠납니다. 오프라인·개인정보 목적이 아니면 체감 차이는 없습니다.

594GB 다운로드, 현실적으로 가능한가요?

기가비트 기준 약 1시간 40분이라 시간보다 상한이 문제입니다. 월 1.2TB 상한 회선의 절반이고, 상한 초과 시 요금은 통신사별 종량제라 확인이 필요합니다.

11월 4일 이후 K3.1이 Ollama에도 오나요?

뼈대가 K3와 같아 llama.cpp 전환은 사실상 확정입니다. Ollama에 로컬 태그가 붙을지는 패키징 정책 차이이고, 붙어도 파일이 610GB 바닥 아래로 내려오지는 않습니다.

출처·기준: Moonshot 공식 발표(2026-10-23), Ollama 라이브러리 목록(10-29 조회), Unsloth 문서 GGUF 실측치, 다나와 수집 시세(10-29 14:01), DDR5는 10-04 실거래. 가격·웨이트 일정은 변동될 수 있습니다.