Google brengt EmbeddingGemma 2 uit voor multimodaal zoeken

Google heeft EmbeddingGemma 2 uitgebracht, een model met open gewichten en 740 miljoen parameters dat tekst, code, afbeeldingen, videobeelden en audio in één gedeelde embeddingruimte plaatst.

De Apache-2.0-gewichten verschenen op 6 oktober met ondersteuning in Transformers, sentence-transformers, llama.cpp, vLLM, Ollama, LM Studio, MLX en Transformers.js. Het model is bedoeld voor het ophalen van informatie en routering, niet voor het genereren van tekst: het zet verschillende soorten invoer om in vectoren die op overeenkomst kunnen worden vergeleken.

Waarom dit ertoe doet

Een ontwikkelaar die een persoonlijke zoekfunctie op een telefoon of laptop bouwt, kan nu een spraakmemo indexeren en een videofragment terugvinden zonder eerst spraakherkenning, beeldbeschrijving en een afzonderlijk tekstembeddingmodel aan elkaar te koppelen. Dat verwijdert verschillende onderdelen uit het lokaal ophalen van informatie, al hangt het werkelijke nut van het model nog altijd af van de eigen gegevens en het latentiebudget van de gebruiker.

EmbeddingGemma 2 is modulair. Het basismodel voor tekst en code heeft 270 miljoen parameters; beeld voegt 170 miljoen toe en audio 300 miljoen. Alle configuraties projecteren naar 768 dimensies, en Matryoshka-training laat een applicatie vectoren inkorten tot 512, 256 of 128 dimensies om opslag te besparen.

Google zegt dat de gekwantiseerde gewichten voor alleen tekst ongeveer 191 MB actief RAM gebruiken op een Pixel 11 Pro, oplopend tot ongeveer 567 MB voor het volledige model. De context van 8.192 tokens kan volgens Googles verpakkingsschema maximaal 5,5 minuten audio, 29 afbeeldingen of 58 videobeelden bevatten.

De evaluatie van het bedrijf zet MTEB Code op 78,68, tegenover 68,76 voor de eerste EmbeddingGemma. Google claimt ook toonaangevende kwaliteit onder multimodale embeddingmodellen met minder dan één miljard parameters. Dat zijn metingen op de releasedag en geen onafhankelijke reproducties; de modelkaart vormt een betere basis om een specifieke ophaaltaak te vergelijken.

De release deelt een tokenizer en audio-encoderontwerp met Gemma 4, wat dubbele componenten kan verminderen wanneer het embeddingmodel een lokaal generatief model voedt. Google heeft ook voorbeeldapplicaties voor mediazoeken en het terugvinden van videomomenten gepubliceerd.

Het volgende praktische bewijs zal komen van tests op gemengde persoonlijke verzamelingen, waarbij het terugvinden van informatie tussen modaliteiten, indexeringstijd en geheugen belangrijker zijn dan één samengestelde benchmark.

Verificatie