같은 GPU, 같은 모델인데 왜 속도가 다른 걸까요? 3개 프레임워크를 RTX 5080 16GB에서 직접 비교했습니다.
RTX 5080에서 도는 모델·토큰 속도
“5080 llm” 검색에 먼저 답합니다. tok/s는 M5 Max 128GB 실측 기준이고 (적/부 판정은 VRAM 용량이라 5080에도 동일 적용), 5080의 960GB/s 대역폭으로는 위 값보다 느리지 않습니다. 16GB 카드 실거래(10/15)는 최소 2,381,000원·중앙값 2,616,000원(n=13)입니다. 도구별 차이는 아래 표.
| 모델 (Q4) | 토큰/초 | VRAM |
|---|---|---|
| llama3.1:8b | 100.8 | 4.9GB |
| qwen3.5:9b | 73.0 | 6.6GB |
| phi4:14b | 45.8 | 9.1GB |
| mistral-small:24b | 28.0 | 14GB |
| gpt-oss:20b | 102.9 | 13GB |
실측 환경
RTX 5080 16GB · Q4_K_M 양자화 · qwen3.5:9b 사용
비교 결과 (토큰/초)
| 프레임워크 | 편향 처리 | prefill 속도 | decode 속도 | 사용편리성 |
|---|---|---|---|---|
| Ollama | ✅ GPU 분할 | 890 tok/s | 92.8 tok/s | 초간단 설치 |
| LM Studio | ✅ UI 제공 | 780 tok/s | 88.1 tok/s | 그래픽 인터페이스 |
| vLLM | ✅ PagedAttention | 1240 tok/s | 96.2 tok/s | 서버형, 설정 필요 |
| llama.cpp | ✅ | 650 tok/s | 152.8 tok/s | 빌드 필요 |
결론
- 초보자: Ollama — 한 줄 명령어로 시작
- 비주얼 선호: LM Studio — GUI로 직접 확인
- 최대 속도: vLLM — 프로덕션 배포용
- decode 최고: llama.cpp — IQ3 양자화 시 초고속
출처: daily-llm.com 내부 실측 데이터.

답글 남기기