GPU 시세 · VRAM · 온디바이스 AI

EmbeddingGemma 2 로컬 — ollama 용량표와 MRL 절약

· 읽는 시간 5분 · 데일리 딥러닝

EmbeddingGemma 2는 텍스트·코드·이미지·영상·소리를 하나의 768차원 벡터로 묶는 구글의 오픈 멀티모달 임베딩 모델입니다. ollama 한 줄로 받아 쓸 수 있고, 파라미터를 필요한 것만 로드하면 270M까지 줄어듭니다. 이 글에서는 설치 명령, 태그별 용량표, 차원 잘라쓰기(MRL)의 실제 절약 폭을 공식 수치로 보여줍니다.

EmbeddingGemma 2가 뭐 하는 모델인가

2026년 10월 6일 구글 딥마인드가 Apache 2.0 라이선스로 공개한 모델로, 총 파라미터는 740M입니다. 텍스트 백본 270M(백본 130M + 임베더 140M)에 비전 인코더 170M, 오디오 인코더 300M을 모듈로 붙인 구조입니다. 모든 입력은 같은 768차원 공간에 찍히기 때문에, 텍스트 쿼리로 사진과 녹음파일을 동시에 검색할 수 있습니다. 컨텍스트는 8,192토큰으로 오디오·영상 몇 분분을 삼킵니다. 100개 이상 언어를 지원하고, 코드 작업은 전작 대비 약 14% 올랐습니다(MTEB code v1 기준 78.68 대 68.76).

ollama로 설치하면 용량은 얼마씩인가

ollama 라이브러리에 270m·440m·570m·740m 네 태그가 올라와 있습니다(확인 2026-10-25, 누적 다운로드 85.7K).

ollama 태그 파일 용량 입력 모달리티
embeddinggemma-2:270m 304MB – 378MB 텍스트
embeddinggemma-2:440m 671MB – 714MB 텍스트·이미지
embeddinggemma-2:570m 918MB – 990MB 텍스트·오디오
embeddinggemma-2:740m (=latest) 1.3GB 텍스트·이미지 등

설치는 ollama pull embeddinggemma-2 하나이고, 로컬 API는 POST http://localhost:11434/api/embed에 모델명과 입력을 넘기면 벡터가 돌아옵니다. Python이면 ollama.embed(model='embeddinggemma-2', input='...')입니다.

GGUF·파이썬으로는 어떻게 돌리나

허깅페이스 원 체크포인트는 BF16 0.7B이고, 양자화 파생만 115종이 넘습니다. 파이썬 정석은 sentence-transformers v6.1.0 이상입니다: pip install -U sentence-transformers[image,audio,video] transformers, 그다음 SentenceTransformer("google/embeddinggemma-2"). 검색 용도면 쿼리는 prompt_name="SearchQuery", 문서는 title: {제목} | text: {본문} 형식으로 넣어야 학습된 작업 접두사와 맞습니다. 파이썬 환경이 낯설다면 허깅페이스 모델 다운로드와 실행 방법을 먼저 읽으면 흐름이 이어집니다.

128차원으로 잘라도 성능이 버티나

MRL(Matryoshka) 학습이 내장돼 있어 벡터를 768·512·256·128차원으로 잘라 쓸 수 있습니다. 공식 수치를 그대로 옮기면 이렇습니다.

차원 저장량 배율 MTEB 다국어 MTEB 코드
768 (원본) 1:1 61.36 78.68
512 1:1.5 61.17 77.24
256 1:3 60.41 76.18
128 1:6 57.89 71.41

체감 절약폭도 공식 예시가 있습니다. BF16으로 벡터 100만 개를 768차원으로 저장하면 약 1.5GB, 128차원이면 250MB입니다. 768 ÷ 128 = 6, 정확히 6배입니다. 다만 구글도 128차원은 텍스트 전용으로 권하고, 이미지·영상·음성 검색 품질은 75% 수준까지 떨어진다며 자체 데이터 검증을 주문합니다. 텍스트 RAG 인덱스라면 256차원(1:3, 품질 손실 최소)이 무난한 기본값입니다.

이 모델에 필요한 그래픽카드와 국내 시세는

가중치가 가장 큰 740M 구성도 BF16 기준 약 1.5GB 수준이라 VRAM 부담은 거의 없습니다. 실행만 따지면 RTX 5060 8GB 최저가 799,000원(2026-10-25 수집, 표본 1개로 표본 적음)으로도 남습니다. LLM 생성과 함께 쓸 거라면 로컬 LLM 모델별 VRAM 필요량 표에서 카드급을 먼저 고르는 편이 정확합니다. 참고로 RTX 3090 24GB 중고 중위가는 1,750,000원(표본 2개로 표본 적음), RTX 4090 24GB 중고 중위가는 3,539,500원(표본 3개로 표본 적음)입니다.

float16만 피하면 된다는 게 진짜인가

공식 모델 카드가 명시적으로 막는 게 하나 있습니다. 추론을 bfloat16 또는 float32로 돌릴 것, float16은 금지입니다. 활성값 범위가 float16의 동적 범위를 넘어가서 에러 대신 NaN이나 조용히 깨진 벡터를 돌려주기 때문에, 랭킹이 이상해져도 원인 파악이 어렵습니다. 문장에서 오류가 안 나니 오히려 위험합니다.

자주 묻는 질문

ollama에서 이미지 검색도 되나

ollama 태그 중 :440m와 :740m(latest)가 텍스트·이미지 입력으로 표기돼 있습니다. 오디오까지 한 번에 쓰려면 파이썬 sentence-transformers 경로가 확실합니다.

컨텍스트는 8K라고 했는데 ollama는 256K라고 떠요

모델 자체의 학습 컨텍스트는 8,192토큰이고, ollama 카드에 뜨는 256K는 런타임 슬롯 상한 표기입니다. 임베딩 품질은 모델 명세인 8,192토큰 안에서 보장됩니다.

이전 EmbeddingGemma(300M) 인덱스와 함께 쓰려면

차원 공간이 다릅니다. 신모델은 768차원이고 구모델 벡터와 직접 비교할 수 없으니 인덱스를 새로 태워야 합니다. GGUF와 MLX 중 뭘 받을지는 GGUF과 MLX 비교를 참고하세요.

출처: 제조사 공식 스펙과 공개 유통 가격 기준. 가격·스펙은 변동될 수 있으므로 구매 전 최신 정보를 확인하세요.

답글 남기기