GLM-5.3 Ollama 이야기의 첫 번째 답은 실행 방식이다. Ollama 라이브러리 태그는 glm-5.3:cloud 하나뿐인 클라우드 전용이고, 로컬 가중치는 배포하지 않는다. 완전 로컬은 llama.cpp로 GGUF를 올리는 길뿐이고, 플래기십 최소 파일이 216.7GB라 소비자용 그래픽카드 한 장에서는 못 올린다. 현실적인 로컬 표적은 320B급 GLM-5.3 Flash이고, 128GB 기계에서 약 15~18 tok/s가 실측돼 있다. 이 글의 수치는 전부 공식 문서와 공개 실측에서 가져왔고 출처 링크를 단다.
Ollama에서 GLM-5.3 지원되나?
클라우드만 된다. ollama run glm-5.3:cloud 한 줄로 붙고, 1M 컨텍스트·Text 태그 하나에 다운로드 147.1K다. 요금은 1M 토큰당 입력 $1.40, 캐시 읽기 $0.26, 출력 $4.40이고 미국·유럽 호스팅이다. ollama download로 로컬 가중치를 받으려는 기대는 여기서 꺾인다 — LM Studio도 클라우드 모델로만 배포했다. 완전 로컬은 llama.cpp 또는 MLX다. 메인라인 llama.cpp는 9월 30일 b11279 빌드부터 GLM-5.3-Flash(텍스트·이미지)를 지원하고, 플래기십 GGUF는 Unsloth 브랜치와 도구를 쓴다. 엔진 선택 기준은 llama.cpp vs MLX 비교에서 이어서 볼 수 있다.
GLM-5.3 플래기십, VRAM이 몇 기가나?
744B 파라미터(활성 약 40B) 스파스 MoE다. FP8 가중치가 약 744GB, BF16은 약 1.5TB다. 서빙 기준은 8×H200 노드(합계 1,128GB)로, KV 캐시에 약 380GB가 남는다. 8×H100(640GB)은 FP8 대비 744 − 640 = 104GB가 부족해 INT4만 들어간다. flat INT4는 744 ÷ 2 ≈ 372GB로 계산되어 4×H200(564GB)까지 떨어진다. 그 아래가 GGUF 구간이다.
| Unsloth 양자화 | 필요 총 메모리 |
|---|---|
| 1-bit (UD-IQ1_S, 파일 216.7GB) | 223GB |
| 2-bit (UD-IQ2_M, 파일 238.6GB) | 245GB |
| 3-bit | 290-360GB |
| 4-bit | 372-475GB |
| 6-bit | 570GB |
| 8-bit | 810GB |
Unsloth는 UD-IQ2_M(디스크 239GB)을 DGX Spark 두 대나 Mac Studio 같은 256GB RAM 기기에서 잘 돈다고 명시한다. 권장 설정은 temperature 1.0, top_p 0.95(긴 에이전틱 작업은 1.0), min-p 0.01이고, KV 캐시를 q4_1로 잡으면 컨텍스트가 약 3.2배 늘어난다. 주의할 점: 플래기십 라이선스는 MIT가 아닌 자체 glm-5.3 라이선스다. GLM-5.2와 Flash가 MIT인 것과 다르고, 상업 배포 전 확인이 필요하다.
GLM-5.3 Flash가 128GB 현실 옵션?
Flash는 320B MoE(활성 약 18B), 이미지·비디오 입력, MIT 라이선스다. FP8로 약 306GiB라 단일 노드에서 여유가 크다. Artificial Analysis 지수 v4.3.2(10월 5일 확인)에서 플래기십 45, Flash 42로 오픈웨이트 4위 — 앞의 셋(MiMo-V2.6-Pro 46, GLM-5.3 45, Kimi K3 44)은 전부 128GB에 어떤 양자화으로도 안 들어간다. Flash는 들어간다.
| Flash GGUF | 파일 크기 | top-1 회복률 |
|---|---|---|
| UD-IQ1_S (1-bit) | 93.09GB | 70.9% |
| UD-Q2_K_XL (2-bit) | 108.72GB | 78.3% |
| UD-IQ3_XXS (3-bit) | 120.37GB | 81.6% |
| UD-Q4_K_XL (4-bit) | 199.71GB | 92.2% |
3-bit에서 4-bit로 넘는 구간이 품질의 최대 도약이고, 동시에 128GB와 256GB 기계의 경계다. Windows 128GB는 불가 — GPU 주소 지정 상한 96GB가 최소 파일+컨텍스트보다 낮다. Mac은 wired 메모리 상한을 올리면 UD-IQ1_S가 되고 2-bit는 아슬아슬하다. Linux(Strix Halo 등)는 커널 파라미터로 GPU에 약 120GB를 붙인다.
로컬 실측 속도는 얼마?
llamaperf에 모인 Flash 실측(56건, 10월 27일 기준)과 검증 목록에서 뽑으면 이렇다.
| 환경 | 구성 | 실측 |
|---|---|---|
| RTX 5090 한 장 + DDR5-5600 128GB | EXL3 3.05bpw(125.3GB), 128K 컨텍스트, Project Maya | 디코드 26.3 tok/s, 프리필 2165 t/s |
| RTX 5090 두 장 + DDR5-6000 | EXL3 2.05bpw(76GB), 전문가 계층을 RAM으로, MTP | 단일 스트림 64.8 tok/s |
| RTX 3090 + SSD 오프로드 | Q2, GPU 24GB | 약 15 tok/s |
| RTX 2080 Ti 11GB + DDR4-3600 256GB | Q4(200GB), -ncmoe로 전문가 계층을 RAM에 | 약 7 tok/s |
| Strix Halo(Ryzen AI Max+ 395) 128GB | UD-IQ1_S 짧은 프롬프트 / AJ-IQ3_XXS 250K | 17.6 tok/s(MTP 포함 약 25) / 15.6 tok/s |
| DGX Spark 128GB | UD-Q2_K_XL, 65K 컨텍스트 | 단일 스트림 17.7 tok/s(8개 스트림 합 64) |
| M5 Ultra 256GB (oMLX) | MLX mixed 4/8-bit | 생성 61.7 tok/s, 프리필 1587.5 t/s |
| M4 Max 128GB | 4-bit, 중앙값 기준 | 6.2 tok/s |
llamaperf(모델 페이지)와 modemguides 실측 목록의 원문 값이고, Strix Halo 수치는 공개 측정 리스트에서 왔다. M4 Max 6.2 tok/s는 1건짜리 중앙값이라 참고용이다. 플래기십 자체의 로컬 실측은 아직 Blackwell NVFP4 약 120 tok/s 제보 한 건뿐이다. 오프로드 설정 순서는 VRAM 부족 해결 순서에서 정리했다.
원화로는 얼마?
Ollama 클라우드 기준 1M 토큰당 입력 $1.40, 캐시 읽기 $0.26, 출력 $4.40에 10월 26일 종가 환율 1,324.45원을 곱하면 입력 1.40 × 1,324.45 = 약 1,854원, 캐시 읽기 약 344원, 출력 약 5,828원이다. llamaperf 제보 중에는 Ollama $20 월정액과 내 비교를 고민한 사용자도 있다. 국내 GPU 시세(10월 27일 다국어 사이트 스캔)는 RTX 5090 32GB 중앙값 10,424,370원(표본 4개 — 표본 적음), RTX 4090 24GB 중고 중앙값 3,650,500원(표본 2개 — 표본 적음)이다. 다만 플래기십(INT4 약 372GB)은 그래픽카드 두 장으로도 못 채우니, 국내에서 살 거라면 128GB 통합 메모리 기기와 Flash 조합이다. Mac을 여러 대 묶는 법은 Mac Studio LLM 클러스터를 보라.
클라우드플레어 KV 캐시 유출 사건은?
이번 주 화제다. 9월 8일 보안 연구자 Gadi Evron(Knostic)이 HackerOne으로 보고했다 — Workers AI의 @cf/zai-org/glm-5.3가 8월 27일부터 다른 사용자 세션 조각이 섞인 응답을 돌려주고 있었다. 영향은 155건, 전부 프롬프트가 681,280 토큰을 넘긴 요청이었다. 원인은 두 개가 겹쳤다: 서빙 컨텍스트 1,048,576개에 비해 프리필 KV 풀이 681,280개뿐이었고, SGLang의 분리형 프리필/디코드 경로에서 초과 요청 거부 시 처리에 버그가 있었다. 클라우드플레어는 인시던트 선언 40분 만에 모델을 내리고 9월 9일 복구했고, 풀을 약 2.04M 토큰(컨텍스트의 두 배)으로 키운 뒤 엔진을 패치했다. 상류에도 PR #38704 등이 병합됐다. 이 후기가 10월 26일 Hacker News에 올라 댓글 155개로 논의됐다.
자주 묻는 질문
32GB VRAM에서 GLM-5.3 돌아가나?
플래기십은 로드도 못 한다 — 최소 GGUF가 216.7GB다. Flash는 EXL3 3.05bpw(125.3GB)로 전문가 계층을 RAM에 오프로드해 RTX 5090 한 장에서 26.3 tok/s 실측이 있다.
ollama run glm-5.3:cloud와 로컬 실행의 차이는?
클라우드는 GPU 없이 1M 토큰당 $1.40/$4.40 종량제이고, 로컬은 llama.cpp+GGUF로 하드웨어와 전기세를 감당하는 구조다. Ollama는 로컬 가중치를 배포하지 않는다.
라이선스, 상업 사용 괜찮나?
플래기십은 자체 glm-5.3 라이선스로 MIT가 아니다. 재배포·상업 서비스 전 약관을 읽어야 하고, Flash는 MIT라 그 부담이 없다.
허깅페이스 GGUF에서 뭘 고르지?
256GB급 플래기십은 UD-IQ2_M(파일 238.6GB, top-1 회복률 78.53%), 128GB급 Flash는 UD-IQ1_S(93.09GB)나 컨텍스트 여유가 큰 aj9o9의 AJ-IQ3_XXS(112.40GB)다.
출처: Ollama 라이브러리·Unsloth 문서·Yotta Labs·modemguides·llamaperf(56건)·Cloudflare 공식 블로그 공개 수치 기준(2026-10-27 확인). 원화 환율은 10월 26일 종가, 국내 GPU 시세는 다국어 사이트 스캔(표본 적음) 기준이며 가격·스펙은 변동될 수 있으므로 확인 후 판단하세요.
답글 남기기