AI PC NPU, 로컬 LLM에 쓸모 있나 (2026년 10월판)

AI PC에 붙은 NPU는 로컬 LLM 학습에는 쓸모가 없고, 추론도 Ollama·llama.cpp 기본 경로에서는 NPU를 거치지 않고 CPU로 돕니다. 2026년 10월 기준 NPU가 실제로 이기는 영역은 배터리로 도는 상시 백그라운드 추론과 영상 처리 같은 작은 고정 작업이며, 파인튜닝을 하려면 여전히 CUDA GPU를 사야 합니다. 이 글에서는 NPU와 GPU의 차이, TOPS 숫자가 재는 것, 대역폭 산식으로 뽑은 토큰 속도 상한까지 표로 정리합니다.

NPU와 GPU의 차이는 무엇인가

GPU는 범용 병렬 연산 장치라 행렬곱뿐 아니라 랜덤 접근·상용 연산까지 빠르게 처리하고, VRAM이라는 전용 고속 메모리를 씁니다. NPU는 추론용 행렬곱만 극단적으로 좁혀 집어넣은 회로라 같은 면적당 TOPS(초당 조 단위 연산)는 높지만, 범용 연산과 임의 접근은 CPU보다 느립니다. 더 결정적인 차이는 붙은 메모리입니다. NPU는 별도 메모리가 없이 시스템 RAM을 CPU와 공유하고, 이 때 뚫리는 대역폭이 전체 속도의 천장이 됩니다.

항목	NPU (노트북 SoC 내장)	CUDA GPU (데스크톱)
연산 특화	추론 전용 (정수·저정도)	학습+추론 범용
소프트웨어	벤더별 SDK (Qualcomm AI Hub, Intel OpenVINO, AMD Ryzen AI)	CUDA·PyTorch 단일 생태계
메모리	시스템 RAM 공유 (내장 GPU와 동일 경로)	전용 VRAM
대표 대역폭 (2026년 10월)	Core Ultra 200V 약 136 GB/s (LPDDR5X-8533)	RTX 5070 672 GB/s (GDDR7 192-bit)

AI PC 기준 40 TOPS는 무엇을 재는가

마이크로소프트가 Copilot+ PC 인증에 요구하는 조건은 NPU 40 TOPS 이상, RAM 16GB 이상입니다. 즉 시중에 파는 AI PC 스티커가 붙은 노트북은 전부 NPU 40 TOPS 이상을 만족합니다. 문제는 이 숫자가 LLM 토큰 속도와 거의 무관하다는 점입니다. TOPS는 초당 연산 횟수일 뿐이고, LLM 추론은 토큰 하나를 만들 때마다 모델 가중치 전체을 메모리에서 다시 읽어야 하는 대역폭 싸움이기 때문입니다.

칩 (2026년 10월 기준)	NPU 성능	시스템 대역폭
Snapdragon X Elite	45 TOPS	약 134 GB/s급 (LPDDR5X)
Snapdragon X2 Elite	80 TOPS	공개 미확인 — LPDDR5X 계열
Intel Core Ultra 200V (Lunar Lake)	48 TOPS	약 136 GB/s (LPDDR5X-8533)
AMD Ryzen AI 9 HX 370	50 TOPS (XDNA 2)	약 128 GB/s급 (LPDDR5X-8000)
참고: RTX 5070 데스크톱	해당 없음 (CUDA 코어)	672 GB/s (GDDR7, 전용 VRAM 12GB)

NPU로 로컬 LLM을 돌리면 몇 토큰인가

배치 1 추론의 상한은 산식으로 먼저 계산됩니다. 토큰당 속도 상한 = 메모리 대역폭 / 모델 파일 크기입니다. 실제 속도는 오버헤드로 이의 절반 안팎이라는 점을 감안하고, 4비트 양자화 모델을 기준으로 대입해 봅니다.

모델 (Q4 기준)	NPU 노트북 상한 (136 GB/s ÷ 용량)	RTX 5070 상한 (672 GB/s ÷ 용량)	배수
llama3.1:8b (4.9GB)	초당 약 27토큰	초당 약 137토큰	5.0배
qwen 27B급 (17.7GB)	초당 약 7.7토큰	초당 약 38토큰	4.9배
70B급 (42.5GB)	16GB RAM 노트북에서는 로드 불가	VRAM 42.5GB 부족 — Offload 필요	–

참고로 이 사이트가 M5 Max 128GB에서 실측한 llama3.1:8b 속도는 초당 99.9토큰입니다 (같은 벤치 파이프라인, 2026년 10월). NPU는 연산 성능이 부족해서가 아니라 대역폭에서 4~5배 뒤처지기 때문에, TOPS 숫자가 아무리 커져도 노트북 RAM 구조가 바뀌지 않는 한 격차가 그대로 남습니다.

왜 Ollama와 llama.cpp는 NPU를 쓰지 않나

Ollama와 llama.cpp의 기본 실행 경로는 CUDA(NVIDIA), Metal(Apple), Vulkan, 그리고 CPU입니다. 2026년 중반 기준 두 도구 모두 Windows ARM64 빌드를 제공하지만 이조차 NPU용 백엔드가 아니라 CPU·내장 GPU 경로라서, Copilot+ 노트북에서 Ollama를 돌리면 NPU는 놀고 CPU가 100%를 먹습니다. NPU를 쓰려면 모델을 벤더 형식으로 변환해야 합니다 — Qualcomm은 AI Hub와 Foundry Local, Intel은 OpenVINO와 IPEX-LLM, AMD는 Ryzen AI Software가 그 경로입니다. 전용 경로를 쓰면 체감이 커서, 2026년 6월 프리프린트 연구에서는 Snapdragon X Elite 노트북의 NPU 경로가 CPU 대비 약 4배 빨랐다는 보고가 있습니다. 다만 모델마다 변환이 필요하고 한국어 포함 최신 오픈 모델을 상시로 올리기는 번거롭습니다. 같은 모델도 실행 엔진에 따라 속도가 크게 달라지는 문제는 llama.cpp와 MLX 실측 비교 글에서 다뤘습니다.

어떤 상황에서 AI PC NPU가 진짜 유리한가

NPU의 강점은 절대 속도가 아니라 와트당 성능과 상시 대기입니다. 뚜껑 닫은 상태나 배터리에서 발열 없이 도는 작업, 예를 들어 화상회의 배경 제거·실시간 자막(Windows Studio Effects류), 상주하는 음성 웨이크워드는 NPU가 GPU보다 확실히 효율적입니다. 노트북으로 통학하면서 8B급 모델을 가끔 돌리고 배터리가 중요한 학생에게는 NPU 자체가 구매 기준이 될 필요는 없지만, 해서는 손해는 아닙니다. 반대로 파인튜닝·LoRA 학습·ComfyUI 대용량 워크플로는 NPU 지원 자체가 사실상 없어 대상에서 제외됩니다.

학생·연구실·직장인 — 무엇을 사야 하나

상황	추천	이유
학생 (노트북만 허용, 150만원 이하)	Copilot+급 ARM 노트북 + 무거운 학습은 Colab	8B Q4 추론은 CPU 경로로도 쓸 만하고 배터리가 목적이니까
연구실 (데스크톱 가능)	RTX 5070 Ti 16GB 이상 + RAM 32GB	파인튜닝은 CUDA 아니면 시작이 안 됨, NPU는 대기 전력만 씀
직장인 (재택, 추론 위주)	노트북은 AI PC로 편하게 + 서버/클라우드 분리	NPU는 상시 백그라운드에 강하고 무거운 건 GPU 쪽으로 넘기는 구조가 효율적

자주 묻는 질문

NPU가 있으면 딥러닝 학습이 되나요?

개념상으로는 NPU 추론 전용이고 PyTorch 학습 경로가 지원되지 않는 것이 대부분입니다. 학습은 CPU·GPU로 하므로, 학습용 컴퓨터 선택 기준에서 NPU는 무시해도 됩니다.

Copilot+ PC에서 Ollama는 왜 느린가요?

Ollama 기본 경로가 NPU를 쓰지 않기 때문입니다. 8B Q4 모델은 CPU만 쓸 때 대역폭 136 GB/s 구조상 초당 수십 토큰에 막히고, NPU 전용 형식으로 변환한 모델만 그보다 빠르게 돕니다.

NPU 80 TOPS면 RTX 그래픽카드와 비슷한가요?

비교할 수 없습니다. TOPS는 연산 횟수 단위이고 GPU와의 실제 격차는 메모리 대역폭에서 납니다. 위 표대로면 같은 모델에서 4~5배 차이가 유지됩니다.

AI PC를 사면 RAM은 몇 GB로 하나요?

Copilot+ 최소 기준이 16GB지만, LLM을 같이 쓰려면 32GB를 권장합니다. RAM 크기별 실행 가능 모델은 노트북 LLM VRAM 계산식 글에서 확인하세요.

출처/기준: Microsoft Copilot+ 인증 조건, 각 제조사 공개 스펙(2026년 10월), Intel Core Ultra 200V 대역폭 약 136 GB/s, RTX 5070 672 GB/s는 본 사이트 스펙표 기준. M5 Max 실측치와 NPU 전용 경로의 4배 보고는 공개 벤치 인용이며, 표의 토큰 속도는 산식으로 계산한 상한 근사치입니다. 기준일 2026-10-19.