AI 모델 벤치마크 통합표 — GPT·클로드·로컬 LLM 한 표에

왜 종합 1위가 없나

세 지표의 1위가 전부 다른 회사입니다. 우연이 아니라 측정하는 능력이 다르기 때문입니다.

GPQA Diamond

대학원 수준 과학 추론. 지식과 사고력

SWE-bench

실제 깃허브 이슈를 고치는 능력. 에이전트형 코딩

Arena Elo

사람이 직접 비교 투표한 선호도. 대화 품질

tok/s

초당 생성 토큰. 품질이 아니라 속도

즉 과학 문제를 잘 푸는 모델과 코드를 잘 고치는 모델과 대화가 자연스러운 모델이 서로 다릅니다. 자기 용도에 해당하는 지표 하나를 골라서 보는 게 맞습니다.

GPQA Diamond — 과학 추론

상위 6개가 96.0%에서 94.6% 사이에 몰려 있습니다. 1.4%p 차이이고, 이 구간은 측정 오차와 프롬프트 설정에 따라 순서가 바뀝니다. 상위권에서는 순위보다 동률로 읽는 편이 정확합니다.

SWE-bench Verified — 실제 코드 수정

SWE-bench Pro — 더 어려운 코딩

LMArena Elo — 사람 선호도

Elo는 절대 점수가 아니라 상대 비교입니다. 1525와 1505의 차이는 맞대결에서 약간 더 자주 선택된다는 뜻이지 성능이 비례해서 좋다는 뜻이 아닙니다.

로컬 실측 생성 속도 — M5 Max 128GB

이 표만 본지가 직접 측정한 값입니다. 나머지는 외부 리더보드를 인용했습니다. 속도는 품질과 무관하므로 위 표들과 같은 축에 놓고 비교하면 안 됩니다.

이 표가 답할 수 없는 것

통합 과정에서 지표별로 데이터가 있는 모델 수가 크게 달랐습니다.

특히 로컬 모델과 API 모델을 같은 표에서 직접 비교하기는 어렵습니다. API 모델은 GPQA·SWE-bench가 채워져 있고 로컬 모델은 비어 있는 경우가 많습니다. 빈칸을 0으로 읽으면 안 되고, 측정되지 않았다는 뜻으로 읽어야 합니다.

그래서 뭘 보고 고르나

1. 용도를 하나로 좁힌다. 코딩이면 SWE-bench, 과학·분석이면 GPQA, 일상 대화면 Arena Elo.
2. 그 지표의 상위권에서 동률 구간을 확인한다. 1~2%p 차이는 순위로 읽지 않는다.
3. 출처를 본다. 제조사 자체 측정이면 한 단계 할인해서 받아들인다.
4. 로컬로 돌릴 거라면 VRAM이 먼저다. 점수가 아무리 좋아도 안 올라가면 의미가 없다.

마지막 줄이 이 블로그의 기준입니다. 필요 VRAM 계산은 VRAM 뜻과 확인 방법에, 모델 크기별 적합표는 로컬 AI 허브에 있습니다.

자주 묻는 질문

종합 점수 하나로 순위를 매길 수 없나요?

지표마다 측정 대상이 달라 가중치를 정하는 순간 자의적이 됩니다. 1위가 GPQA는 OpenAI, SWE-bench는 앤트로픽, Arena는 구글로 갈리는 게 그 증거입니다.

벤치마크 점수가 높으면 실제로도 좋나요?

상관은 있지만 일치하지는 않습니다. 특히 벤더 자체 측정은 유리한 설정에서 나온 값일 수 있어 출처 확인이 필요합니다.

로컬 모델 점수가 비어 있는 이유는 뭔가요?

소형 오픈 모델은 주요 리더보드에 등록되지 않는 경우가 많습니다. 측정 안 된 것이지 0점이 아닙니다.

이 표는 얼마나 자주 갱신되나요?

데이터는 benchmarks.json 한 파일로 통합돼 있어 소스만 갱신하면 표가 다시 만들어집니다. 모델 교체가 잦은 분야라 기준일을 꼭 확인하십시오.