PUBLIC MEASURED — BY GPU
RTX 3080 20GB로 보고된 인터넷 공개 실측치(llamaperf 커뮤니티, 단일 카드·단일 요청 조건만)를 모았습니다. 제가 돌린 게 아니라 수집한 값이고, 기준은 llamaperf 기준 21 Oct 2026입니다. 자사 시계열에 없는 모델이라 시세 비교는 뺐습니다.
| 모델 | 양자화 | 생성 속도(공개 실측) |
|---|---|---|
| Qwen3.8 27B Swift-1.5-HyperQwen | W4A16 (safetensors) | 143.0 tok/s |
| Qwen3.8 125B (6B active) Flash-Next | IQ3_XXS | 105.0 tok/s |
| Qwen3.8 27B | AWQ-INT4 (AWQ) | 57.7 tok/s |
| Qwen3.8 27B | Q4 | 39.0 tok/s |
| Qwen3.8 27B | Q4_K_XL | 31.3 tok/s |
| Qwen3.8 125B (6B active) Flash-Next | 4.05 EXL3 | 25.0 tok/s |
같은 카드에서도 모델마다 체감이 다릅니다. 이 표에서 가장 빠른 건 Qwen3.8 27B Swift-1.5-HyperQwen(143.0 tok/s) — 실시간 대화 체감이 되는 구간이고, 표 아래로 갈수록 ‘돌아가긴 한다’ 수준입니다. 카드 선택은 결국 이 속도 차이보다 VRAM 상한이 결정합니다 — 8GB 카드면 30B급은 표에 오르지도 못하니까요. 표에 없는 모델은 커뮤니티에 실제 보고가 없어서 뺀 것이고, 없는 값을 추정해서 채우지 않았습니다. 24시간 돌릴 계획이라면 속도표만 보지 말고 전기세도 계산하세요. 이 카드급을 상시 가동하면 월 전기료가 대략 1~2만원 붙어서, 연간으로 치면 카드 값의 10~20%가 전기로 나갑니다. 같은 예산이면 ‘조금 느린 신품 vs 빠른 중고’보다 ‘필요한 VRAM 최소 충족 + 저전력’이 장기적으로 이기는 경우가 많습니다. 전체 모델 속도표는 12GB LLM 허브에 있습니다.
자주 묻는 질문
직접 벤치한 게 아닌가요?
A. 아닙니다. llamaperf.com 커뮤니티 리포트에서 단일 디바이스·단일 요청 조건만 수집해 인용했습니다. 로컬 벤치는 실행하지 않습니다.
속도 단위는 뭔가요?
A. tok/s는 초당 생성 토큰 수입니다. 20 tok/s면 A4 한 장(약 1,800자)을 1분 안에 씁니다.
왜 모델 수가 적나요?
A. 커뮤니티에 실제로 보고된 런만 실었습니다. 표본이 없는 모델은 임의로 추정하지 않았습니다.
출처: 제조사 공식 스펙과 공개 유통 가격 기준. 가격·스펙은 변동될 수 있으므로 구매 전 최신 정보를 확인하세요.
답글 남기기