로컬 LLM 토큰당 전기요금 — 100만 토큰에 얼마 드나

계산 전제부터 밝힙니다

숫자를 믿으려면 가정을 먼저 봐야 합니다. 이 글은 다음 조건으로 계산합니다.

모델별 100만 토큰 전기요금

100만 토큰을 뽑는 데 걸리는 시간은 1,000,000 ÷ tok/s 초입니다. 여기에 전력과 요금을 곱합니다.

위가 llama3.1 8B의 계산 전체입니다. 나머지 모델도 tok/s만 바꿔 넣으면 같은 식으로 나옵니다.

큰 모델이 꼭 비싼 건 아니다

표에서 눈에 띄는 역전이 있습니다. 30B인 qwen3-coder가 14B인 phi4보다 2.6배 쌉니다. 141.9 tok/s와 55.2 tok/s의 차이입니다. 크기가 아니라 속도가 요금을 정합니다.

이유는 구조입니다. 전문가 혼합 방식이나 최적화된 구현을 쓰는 모델은 파라미터가 많아도 실제 연산량이 적습니다. gpt-oss 20B가 118.1 tok/s로 9B짜리 qwen3.5보다 빠른 것도 같은 맥락입니다.

그래서 전기요금을 아끼려고 작은 모델을 고르는 건 틀린 접근입니다. 같은 VRAM 구간에서 tok/s가 높은 모델을 고르는 것이 요금과 품질을 동시에 챙기는 길입니다.

API와 비교하면 어느 쪽이 싼가

전기요금만 보면 로컬이 압도적입니다. 100만 토큰에 50원에서 431원이면 상용 API 단가와는 자릿수가 다릅니다. 다만 이 계산에는 하드웨어 구매비가 빠져 있습니다.

그래서 실제 비교는 두 단계로 해야 합니다. 먼저 하드웨어 값을 월 단위로 나눠 고정비로 깔고, 거기에 전기요금을 변동비로 더합니다. 월 사용량이 적으면 고정비가 토큰당 단가를 지배하고, 많아지면 전기요금 쪽이 의미를 갖습니다.

손익분기 계산은 로컬 LLM 전기세 vs API 월 비용에서 요금표와 환율을 넣어 따로 다뤘습니다.

내 기계에서 tok/s 재는 법

표의 숫자를 그대로 쓰지 말고 직접 재는 편이 정확합니다. Ollama를 쓰고 있다면 한 줄로 끝납니다.

ollama run llama3.1:8b --verbose

응답이 끝나면 아래쪽에 eval rate가 초당 토큰 수로 찍힙니다. 이 값을 공식에 넣으면 됩니다. 설치와 모델 관리는 Ollama 설치와 모델 삭제에 정리했습니다.

주의할 점은 첫 실행과 두 번째 실행이 다르다는 것입니다. 모델을 디스크에서 올리는 시간이 첫 회에만 들어갑니다. 측정값에서도 deepseek-r1 8B의 로드 시간이 44.4초였는데, 이건 생성 속도와 별개 항목입니다. 두세 번 돌린 뒤 안정된 값을 쓰십시오.

전기요금을 줄이는 현실적인 방법

효과 순서가 중요합니다. 첫 줄 하나가 나머지를 합친 것보다 큽니다. 표에서 본 것처럼 모델 선택만으로 100만 토큰 요금이 35원과 431원으로 12배 갈립니다. 반면 컨텍스트 조정이나 양자화는 수십 퍼센트 수준입니다.

자주 묻는 질문

데스크톱 RTX 카드면 금액이 얼마나 올라가나요?

소비전력에 비례합니다. 350W 카드라면 90W 가정 대비 약 3.9배이므로 표의 금액에 4를 곱해 보시면 대략 맞습니다.

프롬프트를 넣는 단계도 전기를 쓰나요?

씁니다. 다만 프롬프트 처리 속도는 생성보다 훨씬 빨라서 같은 토큰 수라면 소요 시간이 짧습니다. 측정값에서도 llama3.1 8B의 프롬프트 처리는 초당 994토큰으로 생성의 10배였습니다.

왜 70B는 23.9시간이나 걸리나요?

초당 11.6토큰이기 때문입니다. 1,000,000 ÷ 11.6 = 86,207초이고 시간으로 바꾸면 23.9시간입니다. 100만 토큰은 장편 소설 여러 권 분량이라는 점도 감안하셔야 합니다.

이 수치를 제 환경에 그대로 쓸 수 있나요?

속도는 기계마다 다릅니다. 본인 기계에서 tok/s를 측정한 뒤 같은 공식에 넣으시면 됩니다. 공식은 1,000,000 ÷ tok/s ÷ 3600 × 소비전력 ÷ 1000 × 요금입니다.