9070 XT LLM 성능의 답은 세 문장이다. Ollama는 리눅스에서 ROCm v7 기준으로 RX 9070 XT를 공식 지원 목록에 올렸고, 윈도우는 Vulkan 백엔드로 실행된다. 속도 기준은 Llama 3.1 8B Q4 양자화에서 모델링 추정 42~87토큰/초, 커뮤니티 실측 등급은 7B급 25~35토큰/초다. 가격 기준은 자사 다나와 최저가 추적 10월 27일 103만 원대로, RTX 5070(110만 원)보다 약 6만 원 싸고 VRAM은 4GB 더 크다.
RX 9070 XT LLM 성능은 대역폭이 결정한다 — 640GB/s의 의미
단일 스트림 토큰 생성은 연산이 아니라 메모리 대역폭에 막힌다. 토큰 하나를 만들 때마다 가중치 전체를 한 번 읽어야 하므로, 이론상 최대 토큰/초는 대역폭에 비례한다. RX 9070 XT의 640GB/s가 바로 그 천장이다. 같은 16GB를 단 RTX 4060 Ti(288GB/s)보다는 122% 빠르게 읽고, RTX 5070(672GB/s)보다는 5% 느리며, RTX 5070 Ti(896GB/s)의 71% 수준이다. 즉 같은 양자화 파일을 올렸을 때 5070 Ti 대비 약 3할 낮은 속도가 기대값이며, 이 격차는 드라이버로 좁혀지지 않는다.
| 항목 | 값 |
|---|---|
| 아키텍처 | RDNA 4 (Navi 48) |
| VRAM | 16GB GDDR6 |
| 메모리 대역폭 | 640 GB/s (256-bit) |
| 전력 (TBP) | 304 W |
| 출시 | 2025년, 출시가 599달러 |
| Ollama 지원 (리눅스) | 공식 지원, ROCm v7 필요 |
| Ollama 지원 (윈도우) | Vulkan 백엔드 (공식 ROCm 목록은 RX 7900까지) |
Ollama로 돌리면 몇 토큰/초? — 모델 크기별 표
아래 표는 두 종류의 수치를 섞지 않고 구분해 적었다. 추정치는 대역폭 모델링 계산값이고, 커뮤니티 실측 등급은 여러 사용자가 보고한 구간의 합이다. ROCm 초기(2025년) 실측이 등급 하단에 몰려 있었고, 커널 개선에 따라 상단이 올라가는 추세라 구간 폭이 넓다. 구매 판단에는 하단값을 기준으로 두는 편이 안전하다.
| 모델 (Q4_K_M) | 용량 | 예상 토큰/초 | 근거 구분 |
|---|---|---|---|
| Llama 3.1 8B | 약 5GB | 42~87 | llmconfigurator 대역폭 모델링 추정 |
| 7B급 일반 | 4~5GB | 25~35 | local-llm.net 커뮤니티 실측 등급 |
| Mistral Nemo 12B | 약 7GB | 약 26 (13B급 실측 16~22) | 대역폭 산식 + 커뮤니티 등급 |
| Qwen3 14B | 약 9GB | 25~51 | llmconfigurator 추정 |
| GPT-OSS 20B (MoE) | 약 14GB | 74~153 | llmconfigurator 추정, 활성 파라미터 적어 고속 |
| Qwen3 32B | Q4 약 19~20GB | 약 3 (CPU 오프로드 필수) | VRAM 초과, 실사용 어려움 |
VRAM 적재 계산도 보여준다. Qwen3 14B의 컨피그는 레이어 40, KV 헤드 8, 헤드당 128차원이다. 토큰당 KV 캐시는 40 레이어 x 2(K, V) x 8 헤드 x 128 차원 x 2바이트 = 163,840바이트로 약 0.16MB, 8K 컨텍스트면 약 1.25GB다. 여기에 Q4_K_M 가중치 약 9GB를 더하면 10.3GB로 16GB 안에 들어간다. RTX 5070의 12GB에서는 운영체제 점유분까지 감안하면 같은 구성이 간신히 아니면 튕기는 구간이다.
| 16GB에 올라가는 대표 모델 | Q4_K_M 가중치 | 비고 |
|---|---|---|
| GPT-OSS 20B | 14GB | 컨텍스트 여유 적음 |
| Qwen3 14B / Phi-4 | 9~11GB | 8K 컨텍스트 여유 |
| Mistral Small 24B | 15GB | 한계선, 컨텍스트 압박 |
| Qwen3 32B | 19GB+ | 미적재, 오프로드 필요 |
Ollama ROCm, 이제 정말 되나 — 리눅스 공식 지원, 윈도우는 Vulkan
Ollama 공식 하드웨어 문서(10월 28일 확인 기준)의 리눅스 ROCm 지원 목록에 RX 9070 XT가 명시돼 있다. 조건은 ROCm v7 드라이버다. LLVM 타깃 표에도 gfx1200(RX 9070), gfx1201(RX 9070 XT)이 올라와 있다. 출시 초기인 2025년 4월에는 GitHub 이슈 10430번에서 gfx1201 미지원이 확인됐던 것과 정반대로 바뀌었다.
윈도우는 다르다. 윈도우 공식 ROCm/HIP7 목록은 RX 7900 XTX부터 RX 7600까지이고 RDNA4는 빠져 있다. 대신 Ollama는 Vulkan 백엔드를 기본 활성화해 윈도우에서도 9070 XT로 GPU 추론이 동작한다. 다만 Vulkan 경로는 스케줄링이 근사치 기반으로 돌아 VRAM 관리가 까다롭고, 리눅스 ROCm 대비 성능 편차가 크다. 로컬 LLM을 주용으로 쓸 거면 리눅스(또는 WSL2+ROCm)를 전제로 사는 게 맞다.
9070 XT LLM 성능 vs RTX 5070 · 5070 Ti — 어디가 유리한가
게임 벤치마크와 LLM 성능은 순서가 다르다. 3DMark Steel Nomad(10/5 기준)에서는 RX 9070 XT 7,273점으로 RTX 5070 Ti 6,967점보다 높고 PassMark G3D는 26,918점 대 32,329점으로 거꾸로다. LLM에서 진짜 기준은 VRAM과 대역폭이다.
| 항목 | RX 9070 XT | RTX 5070 | RTX 5070 Ti |
|---|---|---|---|
| VRAM | 16GB GDDR6 | 12GB GDDR7 | 16GB GDDR7 |
| 대역폭 | 640 GB/s | 672 GB/s | 896 GB/s |
| Llama 3.1 8B Q4 추정 | 42~87 tok/s | 공개 추정치 없음 | 70~145 tok/s |
| 다나와가 (10/5, 판매처 10곳 이상 모델의 세 번째 가격) | 135.9만 | 128.7만 | 181.6만 |
| 자사 최저가 추적 (10/27) | 103.9만 | 110.1만 | 157.9만 |
| VRAM 1GB당 가격 (다나와가 기준) | 8.5만 (135.9/16) | 10.7만 (128.7/12) | 11.4만 (181.6/16) |
속도만 보면 5070 Ti가 앞선다. 자사가 정리한 RTX 5070 Ti 공개 실측(최고 226토큰/초, 모델별 상이)은 5070 Ti 16GB 실측 정리에서 확인할 수 있다. 대신 45만~76만 원 차이가 나고, CUDA 생태계(vLLM, 일부 파인튜닝 툴)를 써야 한다면 값어치가 달라진다. CUDA가 필요 없는 Ollama·llama.cpp 추론 용도라면 9070 XT의 GB당 가격이 명확히 유리하다.
10월 시세 — 내린 라데온, 오른 지포스
8월에서 10월로 오는 사이 가격 방향이 갈렸다. 엔비디아는 RTX 5070 이상 전 모델이 17만~25만 원 올랐고 RTX 5090은 약 190만 원 뛰었다. 유통가는 RTX 5070 Ti 공급량이 특히 줄었다는 이야기까지 나온다. 같은 기간 RX 9070 XT는 1만 원, RX 9070은 6만 원 내렸다.
| 제품 | 10/3 다나와 최저가 | 8월 대비 |
|---|---|---|
| RX 9070 XT | 129만 원 | -1만 원 |
| RX 9070 | 98만 원 | -6만 원 |
| RTX 5070 | 126만 원 | +25만 원 |
| RTX 5070 Ti | 177만 원 | +17만 원 |
| RTX 5090 | 약 884만 원 | +190만 원 |
자사가 매일 추적하는 다나와 최저가 시계열로 보면 두 카드 모두 하루 편차가 크다. 최저가에 걸리는 판매 모델이 매일 바뀌기 때문이다.
| 자사 추적 (다나와 최저가, 9/27~10/28) | 범위 | 직근 값 (10/26~27) |
|---|---|---|
| RX 9070 XT | 103만~170만 원 (재고 모델에 따라 출렁) | 103.1만~104.0만 |
| RTX 5070 | 108만~156만 원 | 108.9만~110.1만 |
| RTX 5070 Ti | 141만~194만 원 | 157.9만 |
읽는 사람별 구매 판단 — 학생·연구실·직장인
학생(예산 80만 원 이하): RX 9060 XT 16GB가 79.9만 원으로 16GB 최저 진입선이다. Q4 기준 8B~14B가 올라가고 토큰/초는 9070 XT의 6할 수준이다. 연구실(예산 100~140만 원): 지금 가격표상 최적점은 RX 9070 XT다. 직근 103만 원대로 내려왔고 RTX 5060 Ti 16GB(104.7만 원)보다 대역폭이 2배 이상이다. CUDA가 필수인 실험실이라면 중고 3090(24GB)을 먼저 견적에 넣자. 직장인(소음·전력 중시): 304W는 전기세 표에 그대로 반영된다. GPU 24시간 가동 전기세표를 함께 보고, VRAM이 모자랄 때의 처리 순서는 VRAM 부족 대응 가이드에 정리해 뒀다.
자주 묻는 질문
9070 XT로 32B 모델은 못 돌리나요?
Q4_K_M 가중치가 19GB 안팎이라 16GB에 들어가지 않습니다. CPU 오프로드면 약 3토큰/초로 대화용으로는 무리입니다. MoE 구조의 GPT-OSS 20B(14GB, 추정 74~153토큰/초)가 실질적인 상한입니다.
윈도우에서 Ollama는 느린가요?
Ollama 공식 ROCm 목록에 RDNA4가 없어 Vulkan 백엔드로 동작합니다. 실행은 되지만 VRAM 스케줄링이 근사치 기반이라 긴 컨텍스트에서 편차가 큽니다. 같은 카드라면 리눅스 ROCm v7 환경의 결과물이 항상 더 안정적이었습니다.
게임도 하는데 9070 XT와 5070 중 뭘 사나요?
일반 QHD 게임은 9070 XT가 확실히 앞섭니다. Steel Nomad 점수 7,273 대 5,340(10/5 기준)으로 약 36% 차이입니다. 반면 레이트레이싱을 켜면 순서가 바뀌는데, 톰스하드웨어 QHD RT 평균에서 5070 Ti가 66.2프레임으로 9070 XT(55.5프레임)보다 높고 RTX 5070은 여기서 한 단계 더 아래입니다. LLM 병행 우선이면 9070 XT, DLSS·레이트레이싱 위주면 지포스입니다.
가격은 더 떨어지나요?
라데온은 8월 대비 내리는 추세지만 자사 추적 기준 하루 편차가 최대 30만 원대까지 나서 최저가 알림을 걸어두고 하회 시점을 잡는 편이 낫습니다. 지포스는 추가 인상설이 있어 방향이 반대입니다.
답글 남기기