AI 소프트웨어
-
Qwen3.8 MTP MLX — 같은 작업 1.7배, 최대 2.69배
같은 M5 Max에서 일반 디코드 초당 43.8토큰이 MTP를 켜면 73.5토큰(1.68배)으로 오르는 공개 실측이 있습니다. Qwen 3.6…
-
코랩 무료 GPU 사용량 제한 — 12시간·리셋·카드 종류 (11월판)
코랩 무료 GPU 사용량에 정해진 하루 시간은 없다. 세션 상한 12시간, 배정은 T4위주, 유료 전환 시…
-
Qwen vs Gemma 4 — 코딩 점수·실측 속도 승자는? (11월판)
Qwen3.8 27B와 Gemma 4를 공식 점수와 RTX 4090 실측으로 붙였다. 코딩 LiveCodeBench는 Qwen이 90.3 대 80.0,…
-
Qwen 27B VRAM 실행표 — 몇 GB에서 도나 (10월판)
Qwen 3.8 27B의 4비트 GGUF는 16.06 GB입니다. RTX 4090 실측은 초당 47.3토큰, 16GB 카드 마지노선은 13.15…
-
llama.cpp vs MLX 실측 비교 — 1.9배 빨라지는 경우
같은 모델에서 MLX는 31.6 tok/s, llama.cpp는 16.5 tok/s로 1.9배 차이가 났지만, 긴 문서 prefill은 llama.cpp가 최대…
-
vLLM이란 — Ollama와 뭐가 다르고 언제 쓰나
vLLM은 동시 요청 서빙용이고 Ollama는 개인 실행용입니다. PyPI의 0.31.0에는 리눅스 휠만 있어 맥·윈도우는 기본 설치 경로가…
-
ComfyUI 설치 — 설치 경로와 자주 나는 오류 정리
ComfyUI 설치는 저장소 62MB를 받고 requirements 설치 후 main.py 실행하는 3단계입니다. 모델 경로와 자주 나는 오류…
-
GGUF와 MLX 차이 — 맥에서 어떤 형식을 받아야 하나
같은 M5 Max에서 GGUF는 프롬프트 처리 초당 994토큰, MLX bf16은 5.3토큰이 나왔습니다. 8,000토큰 입력이면 8초와 25분…
-
LM Studio 사용법 — CLI와 로컬 서버까지 10분 세팅
LM Studio는 lms 명령으로 모델을 받고 올리고 OpenAI 호환 서버를 포트 1234에 띄웁니다. 실제 실행 출력…
-
transformers 사용법 — pipeline 세 줄로 모델 돌리기
transformers pipeline 세 줄이면 모델이 돕니다. 설치 순서, 반환값 구조, 그리고 5.19.0에서 실제로 뜨는 경고 3개를…
