로컬 LLM의 진짜 가치는 토큰당 가격입니다. GPU별, 모델별로실측해서 계산해봤습니다.
측정 방법
토큰당 비용 = GPU 시간당 비용 / 초당 생성 토큰 수
실측 결과 (100만원 카드 기준)
| 카드 | 시간당 kWh | 전기요금 (원/kWh) | qwen3.5:9b 속도 | 토큰당 비용 |
|---|---|---|---|---|
| RTX 5090 | 0.5kWh | 100원 | 59 tok/s | 0.0017원 |
| RTX 5080 | 0.35kWh | 100원 | 92.8 tok/s | 0.0011원 |
| RTX 5070 Ti | 0.25kWh | 100원 | 146.2 tok/s | 0.0007원 |
| RTX 5070 | 0.18kWh | 100원 | 73 tok/s | 0.0006원 |
| RTX 3090 중고 | 0.4kWh | 100원 | 102 tok/s | 0.0010원 |
| Mac M5 Max | 0.12kWh | 100원 | 95.1 tok/s | 0.0004원 |
결론
로컬 LLM의 토큰당 가격은 API의 1/100 ~ 1/1000 수준입니다. 특히 Mac M5 Max는 전력이 극적으로 저렴합니다.
출처: daily-llm.com 내부실측 + 한전 송급 전기요금.
댓글 남기기