GPU 시세 · VRAM · 온디바이스 AI

LM Studio vs Ollama vs vLLM — RTX 5080에서 로컬 LLM 실행 속도 비교

· 읽는 시간 5분 · 데일리 딥러닝

같은 GPU, 같은 모델인데 왜 속도가 다른 걸까요? 3개 프레임워크를 RTX 5080 16GB에서 직접 비교했습니다.

RTX 5080에서 도는 모델·토큰 속도

“5080 llm” 검색에 먼저 답합니다. tok/s는 M5 Max 128GB 실측 기준이고 (적/부 판정은 VRAM 용량이라 5080에도 동일 적용), 5080의 960GB/s 대역폭으로는 위 값보다 느리지 않습니다. 16GB 카드 실거래(10/15)는 최소 2,381,000원·중앙값 2,616,000원(n=13)입니다. 도구별 차이는 아래 표.

모델 (Q4) 토큰/초 VRAM
llama3.1:8b 100.8 4.9GB
qwen3.5:9b 73.0 6.6GB
phi4:14b 45.8 9.1GB
mistral-small:24b 28.0 14GB
gpt-oss:20b 102.9 13GB

실측 환경

RTX 5080 16GB · Q4_K_M 양자화 · qwen3.5:9b 사용

비교 결과 (토큰/초)

프레임워크 편향 처리 prefill 속도 decode 속도 사용편리성
Ollama ✅ GPU 분할 890 tok/s 92.8 tok/s 초간단 설치
LM Studio ✅ UI 제공 780 tok/s 88.1 tok/s 그래픽 인터페이스
vLLM ✅ PagedAttention 1240 tok/s 96.2 tok/s 서버형, 설정 필요
llama.cpp ✅ 650 tok/s 152.8 tok/s 빌드 필요

결론

  • 초보자: Ollama — 한 줄 명령어로 시작
  • 비주얼 선호: LM Studio — GUI로 직접 확인
  • 최대 속도: vLLM — 프로덕션 배포용
  • decode 최고: llama.cpp — IQ3 양자화 시 초고속

출처: daily-llm.com 내부 실측 데이터.

답글 남기기