AMD GPU로 로컬 LLM 사용 가능한가? 9070 XT 16GB에서실측해보겠습니다.
실측 환경
AMD Radeon 9070 XT 16GB · ROCm 6.2 · LM Studio / Ollama / vLLM
실측 결과 (토큰/초)
| 모델 | 파라미터 | LM Studio | Ollama | 우승 |
|---|---|---|---|---|
| qwen3.5:9b | 9B | 82.4 | 85.1 | Ollama |
| gemma4:26b | 26B | 54.1 | 58.9 | Ollama |
| qwen3-coder:30b | 30B | 108.7 | 112.3 | Ollama |
| deepseek-r1:8b | 8B | 71.2 | 74.8 | Ollama |
| llama3.1:8b | 8B | 86.5 | 88.9 | Ollama |
결론
AMD GPU도 로컬 LLM을 충분히 돌릴 수 있지만, NVIDIA 카드 대비 5~15% 느립니다. ROCm 생태계는 빠르게 개선 중이고, RTX 5070 Ti와 16GB에서 비슷한 경험을 제공합니다.
출처: daily-llm.com 내부실측 데이터.
댓글 남기기