로컬 임베딩 모델의 오늘 기준 답은 “0.6B급이면 8GB 카드, bge-m3 파일 2.3GB는 RTX 3060 12GB에서 남는다”입니다. Hugging Face API로 직접 잰 웨이트 파일 기준, Qwen3-Embedding 8B(15.2GB)만 16GB 이상을 요구하고 나머지는 전부 소비자 GPU 안에 들어갑니다. 아래 표는 2026년 10월 30일 조회한 실측 파일크기·VRAM 계산·벤치마크 점수입니다.
로컬 임베딩 모델은 RTX 3060에서도 도나 — VRAM 계산식
필요 VRAM은 대략 웨이트(fp16 = 파라미터 수 × 2바이트) + CUDA 컨텍스트 약 0.5~1GB + 배치 활성화입니다. LLM과 달리 인코더 임베딩 모델은 컨텍스트가 길어져도 KV 캐시가 누적되지 않아, 배치 크기와 입력 토큰 수가 메모리를 지배합니다. 즉 0.6B급(파라미터 6억)은 fp16 웨이트 약 1.2GB로 8GB 카드에 여유롭게 들어갑니다.
| 모델 | 파라미터 | fp16 웨이트(계산) | HF 실측 파일(10-30 API) | 판정 |
|---|---|---|---|---|
| Qwen3-Embedding-0.6B | 595,776,512 | 1.19GB | 1.19GB (BF16 safetensors) | 8GB 카드 가능 |
| BAAI/bge-m3 | 약 0.6B(Qwen 표기) | 약 1.2GB | 2.27GB (fp32 bin) | 8GB 카드 가능(fp16 로드 시) |
| multilingual-e5-large | 559,890,946 | 약 1.1GB | 2.24GB (fp32) | 8GB 카드 가능 |
| EmbeddingGemma 2 | 744,371,512 (전체) | 1.49GB | 1.49GB (BF16) | 8GB 카드 가능, 텍스트만 로드 시 더 작아짐 |
| Qwen3-Embedding-4B | 4,021,774,336 | 8.06GB | 8.06GB (BF16) | 12GB 카드 가능(배치 조절) |
| Qwen3-Embedding-8B | 7,567,295,488 | 15.2GB | 15.15GB (BF16) | 16GB 한계선, 24GB 안전 · int8 약 7.6GB면 12GB |
출처: Hugging Face API 파일 크기(2026-10-30 조회), fp16 환산은 파라미터×2바이트 계산. bge-m3 파라미터는 Qwen 공식 비교표의 0.6B 표기 기준.
핵심 스펙 대조 — 차원·최대 입력·라이선스
RAG 설계에서 체감 차이를 만드는 건 크기가 아니라 임베딩 차원(저장비용 직결)과 최대 입력 길이(청크 전략 결정)입니다. Qwen3 시리즈는 32K 입력에 차원을 32~4096까지 자유롭게 잘라 쓰는 MRL을 지원하고, bge-m3는 최대 입력 8192에 dense+sparse(COLBERT) 하이브리드를 한 모델로 처리합니다. multilingual-e5-large는 입력이 512 토큰으로 짧아 청크를 잘게 쪼개는 전제가 필요합니다.
| 모델 | 임베딩 차원 | 최대 입력 | 특징 |
|---|---|---|---|
| bge-m3 | 1024 | 8,192 토큰 | dense+sparse+multi-vector 통합, 100+ 언어 |
| multilingual-e5-large(-instruct) | 1024 | 512 토큰(config max_pos 514) | query:/passage: 접두사 구분, 한국어 파인튜닝 파생 다수 |
| Qwen3-Embedding 0.6B/4B/8B | 1024/2560/4096 (MRL 32부터) | 32K 토큰 | 지시문(instruct) 인식, Apache 2.0 |
| EmbeddingGemma (300M) | 768/512/256/128 | 2,048 토큰(공식 문서) | 온디바이스 최적화, GGUF·ollama 배포 |
| EmbeddingGemma 2 (740M) | 768 통합 공간 (MRL 128~768) | 8K 토큰 | 텍스트·코드·이미지·오디오·비디오 단일 공간, 텍스트 백본 270M만 선택 로드 |
| klue/multilingual-e5-large-corpus | 1024(e5-large 동일 구조) | 512 토큰 | 한국어 커뮤니티 표준 베이스라인, 게이트(로그인 필요) |
출처: 각 모델 HF 카드·config.json 실측(10-30), EmbeddingGemma 2는 Google DeepMind 공개 자료(10-06) 기준. klue·mE5 계열은 HF 게이트 모델이라 구조 기반 추정치를 병기.
한국어 RAG, 로컬 임베딩 모델 벤치마크로 고르면 되나
완전한 한국어 전용 공개 점수는 모델마다 없어서, Qwen 팀이 재현 돌린 MTEB 다국어 표를 기준으로 씁니다(2025-05 리더보드 스냅샷). 평균 점수와 검색(Retrieval) 열을 같이 보면, 같은 0.6B급에서도 Qwen3-Embedding의 검색 성능 차이가 뚜렷합니다.
| 모델 | 크기 | MTEB 다국어 평균 | 검색(Retri.) |
|---|---|---|---|
| BGE-M3 | 0.6B | 59.56 | 54.60 |
| multilingual-e5-large-instruct | 0.6B | 63.22 | 57.12 |
| Qwen3-Embedding-0.6B | 0.6B | 64.33 | 64.64 |
| Qwen3-Embedding-4B | 4B | 69.45 | 69.60 |
| Qwen3-Embedding-8B | 8B | 70.58 (2025-06 1위) | 70.88 |
한국어 특화로는 klue/multilingual-e5-large-corpus(한국어 코퍼스 파인튜닝)와 amazonia-ai mE5 계열이 커뮤니티 표준으로 쓰입니다. 다만 둘 다 HF 게이트(로그인 승인) 모델이라 자동 배포가 불편하고, 두 모델 모두 기반 구조는 e5-large 동일이라 웨이트 규모는 약 2.2GB로 보시면 됩니다. 벤치마크 점수는 도메인 편차가 크니, 결국 내 문서 200개로 top-5 재현률을 직접 재는 게 유일한 확실판 방법입니다.
출처: Qwen3-Embedding 공식 카드 비교표(리더보드 2025-05-24 스냅샷), 모델 카드 확인일 2026-10-30.
Qwen3-Embedding 8B는 RTX 5070 Ti 16GB에서 도나 — 카드별 시세와 적합선
8B의 bf16 웨이트는 15.15GB입니다. 16GB 카드(5070 Ti·5080)에서는 CUDA 컨텍스트와 활성화를 빼면 여유가 1GB 안쪽이라 배치·입력 길이를 줄여 간신히 도는 수준이고, int8 양자화(약 7.6GB)로 내리면 12GB 5070에서도 돌아갑니다. 중고 3090 24GB 한 장이 용량 대비 가장 값싼 안전선입니다.
| GPU | VRAM | 오늘 최저가·중위가(원) | 실용 가능 선 |
|---|---|---|---|
| RTX 5070 | 12GB | 1,198,770 · 1,344,600 | 0.6B급 전량 + 8B int8(7.6GB) |
| RX 9070 XT | 16GB | 1,316,000 · 1,610,080 | 동일(ROCm·Vulkan 경로 확인 필요) |
| RTX 3090 (중고) | 24GB | 1,231,000 · 1,300,000 | 8B bf16 여유 + 큰 배치 |
| RTX 5070 Ti | 16GB | 1,579,000 · 2,023,000 | 8B bf16 한계선(배치 축소) · 4B 여유 |
| RTX 5080 | 16GB | 2,260,000 · 2,849,000 | 5070 Ti와 동일 VRAM — 임베딩만으론 과잉 |
| RTX 4090 (중고) | 24GB | 3,940,000 (1건) | 8B + reranker 동시 상주 |
| RTX 5090 | 32GB | 8,590,000 · 9,690,000 | 임베딩만으론 명백한 과잉 |
출처: 자사 gpu_prices.json 시세(2026-10-30 22:20 KST 수집, 최저·중위, 표본 수 상이). 중고 4090은 당일 등록 1건이라 참고값.
벡터 저장소는 얼마를 각오해야 하나 — 차원 × 청크 수 산식
저장 용량은 청크 수 × 차원 × 4바이트(fp32)입니다. 10만 청크 기준: 차원 768이면 307MB, 1024면 410MB, Qwen3-8B 네이티브 4096차원이면 1.6GB로 4배입니다. MRL 지원 모델은 여기서 탈출구입니다 — EmbeddingGemma 2 공식 문서가 명시한 truncation(768→128) 저장 6배 절감처럼, 차원을 잘라도 품질 저하는 도메인에 따라 수 퍼센트 수준에 그치는 경우가 많습니다.
| 청크 수 | 128차원 | 768차원 | 1024차원 | 4096차원 |
|---|---|---|---|---|
| 10만 (개인 문서) | 51MB | 307MB | 410MB | 1.6GB |
| 100만 (연구 코퍼스) | 512MB | 3.07GB | 4.10GB | 16.4GB |
| 1,000만 (서비스급) | 5.1GB | 30.7GB | 41.0GB | 163.8GB |
참고로 인덱스 검색 자체는 GPU보다 RAM·디스크가 병목이라, 임베딩 GPU 견적과 벡터DB 견적을 분리해서 잡는 게 정확합니다. 모델별 전체 VRAM 배분이 필요하면 모델별 필요 VRAM 기준표를 함께 보세요.
예산별 추천 — 학생·연구실·직장인
학생(GPU 없거나 8GB 이하): Qwen3-Embedding-0.6B 또는 EmbeddingGemma 2 텍스트 전용(백본 270M)으로 시작. ollama·GGUF 배포가 갖춰져 있어 EmbeddingGemma 2 로컬 설치와 ollama 태그 정리 그대로 따라 하면 됩니다.
연구실(12~16GB 한 장): Qwen3-Embedding-0.6B 기본 + bge-m3 하이브리드(dense+sparse) 병행 구성이 실측 대비 성능 상승 폭이 큽니다. 웨이트 합산 2.4GB라 한 장에서 동시 상주합니다.
직장인·서비스(24GB 이상): Qwen3-Embedding-8B + Qwen3-Reranker-0.6B 2단 구성. 리랭커는 임베딩 단독(MTEB-R 61.82) 대비 65.80으로 공식 재현표에서 +4점을 넘게 보여줍니다. 다운로드는 허깅페이스 모델 다운로드와 실행 방법이 선행 가이드입니다.
자주 묻는 질문
임베딩 모델은 CPU로도 되나요
됩니다. 0.6B급 인코더는 fp16 웨이트가 1.2GB 안쪽이라 RAM에서 충분히 돌고, ollama GGUF 태그도 배포돼 있습니다. 다만 청크 수십만 개 인덱싱은 GPU 대비 시간이 크게 늘어난다 정도로 보고, 쿼리 위주 사용이면 CPU로 충분합니다.
bge-m3와 Qwen3-Embedding 중 뭘로 시작하나요
하이브리드 검색(dense+BM25풍 sparse)을 한 모델로 하고 싶으면 bge-m3, 지시문 커스터마이즈와 32K 초장문 입력이 필요하면 Qwen3-Embedding입니다. 벤치마크 평균은 0.6B급에서 Qwen3가 64.33 대 59.56으로 앞서 있습니다(2025-05 스냅샷 기준).
EmbeddingGemma 2는 한국어가 되나요
공식적으로 100+ 언어를 지원하고, 텍스트·코드·이미지·오디오·비디오를 하나의 768차원 공간에 넣는 멀티모달입니다. 텍스트 전용 백본(270M)만 선택 로드할 수 있어 모바일에선 양자화 시 활성 RAM 약 191MB(공식, Pixel 기준)까지 줄어듭니다.
reranker는 꼭 붙여야 하나요
필수는 아니지만 효과가 수치로 확인됩니다. Qwen 공식 재현표에서 Qwen3-Reranker-0.6B는 MTEB-R 65.80으로 임베딩 단독(61.82)보다 높고, 4B는 69.76까지 올라갑니다. top-100을 임베딩으로 좁히고 top-10만 리랭크하는 구조가 GPU 부담 대비 효율이 제일 좋습니다.
기준: 파일 크기·파라미터는 Hugging Face API 실측(2026-10-30), 벤치마크는 Qwen 공식 재현표(리더보드 2025-05-24 스냅샷), GPU 시세는 자사 gpu_prices.json(2026-10-30 22:20 KST). EmbeddingGemma 2 스펙은 Google DeepMind 공개 자료(10-06) 기준.
답글 남기기