Gemini Embedding 2: Una guida Python alla comprensione multimodale
Sbloccare la comprensione multimodale con Gemini Embedding 2
Ricordo un tempo in cui le informazioni digitali sembravano isolate, confinate nel loro formato. Il testo viveva in uno spazio, le immagini in un altro e l'audio completamente separato. Ora, con progressi come Gemini Embedding 2 di Google, stiamo assistendo a una convergenza, una comprensione unificata di diversi tipi di dati che promette di trasformare il modo in cui interagiamo con le informazioni.
Fonte: Questo banner combina elegantemente elementi visivi che alludono alle capacità dell'IA multimodale.
Il modello Gemini Embedding 2 di Google, rilasciato in anteprima pubblica il 10 marzo 2026, segna il primo modello di embedding completamente multimodale dell'azienda, progettato per complessi compiti di recupero e analisi. Puoi saperne di più sul blog ufficiale di Google AI. Questo modello mappa in modo efficiente vari input—testo, immagini, video, audio e PDF—in un unico spazio semantico unificato. Questa capacità è particolarmente vantaggiosa per le applicazioni che richiedono ricerca semantica multimodale, recupero documenti e sistemi di raccomandazione, come dettagliato nel post del blog di annuncio.
Riassunto rapido
- Capacità multimodali: Elabora testo, immagini, video, audio e PDF in uno spazio semantico unificato.
- Spazio semantico unificato: Mappa input diversi in un unico spazio di embedding per un recupero e un'analisi efficienti.
- Dimensionalità del vettore: Genera vettori a 3.072 dimensioni per impostazione predefinita, con opzioni per 768, 1536 e 3072.
- Apprendimento rappresentativo Matryoshka (MRL): Consente il ridimensionamento dinamico delle informazioni attraverso le dimensioni per prestazioni e archiviazione flessibili.
- Supporto linguistico: Cattura l'intento semantico in più di 100 lingue.
- Accesso: Disponibile tramite Gemini API e Vertex AI, richiede una chiave API gratuita.
- Integrazione Python: Facilmente integrabile con la libreria google-genai.
- Nota di migrazione: Incompatibile con gemini-embedding-001; richiede il re-embedding di tutti i dati.
- Applicazioni chiave: Migliora la generazione aumentata di recupero (RAG), la ricerca semantica, l'analisi del sentiment e il clustering dei dati.
Capacità di Gemini Embedding 2
Gemini Embedding 2 accetta un'ampia gamma di input multimodali, come spiegato nel post del blog di Google AI. Può elaborare fino a 8.192 token di input per il testo e fino a sei immagini per richiesta in formato PNG e JPEG. Gli input video, supportati in MP4 e MOV, possono durare fino a 120 secondi. Il modello elabora nativamente i dati audio senza richiedere intermedia trascrizioni di testo e può analizzare documenti PDF fino a sei pagine di lunghezza direttamente. Inoltre, comprende input nidificati, consentendo più modalità, come un'immagine combinata con testo, in un'unica richiesta. Una caratteristica significativa è la sua capacità di eseguire il riconoscimento ottico dei caratteri (OCR) sugli input dei documenti. Per gli input video, può estrarre tracce audio e intrecciarle con i frame video.
Il modello genera vettori a virgola mobile a 3.072 dimensioni per impostazione predefinita, come indicato nella documentazione di Vertex AI. Tuttavia, questa dimensionalità di output è personalizzabile utilizzando il parametro output_dimensionality, consentendo la generazione di vettori più piccoli per bilanciare costi di prestazioni e archiviazione. Le dimensioni di output raccomandate per una qualità ottimale sono 768, 1536 e 3072. Gemini Embedding 2 impiega l'apprendimento rappresentativo Matryoshka (MRL), che ridimensiona dinamicamente le informazioni attraverso le dimensioni. MRL supporta un modello di recupero a due fasi: vettori più piccoli per una rapida pre-selezione, seguiti da vettori completi per il re-ranking. L'output a 3.072 dimensioni predefinito è già normalizzato; per dimensioni ridotte come 768D o 1536D, la normalizzazione L2 dovrebbe essere applicata manualmente.
Fonte: dreamstime.com
Gemini Embedding 2 utilizza l'Apprendimento Rappresentativo Matryoshka, consentendo il ridimensionamento dinamico delle informazioni attraverso le dimensioni dei vettori.
Fondamentalmente, il modello cattura l'intento semantico in più di 100 lingue. Le istruzioni di attività personalizzate, come task:recupero codice o task:risultato di ricerca, ottimizzano ulteriormente gli embedding per relazioni specifiche, migliorando l'accuratezza. Il cutoff della conoscenza del modello è specificato come novembre 2025.
Accesso e integrazione di Gemini Embedding 2
Gli sviluppatori possono accedere a Gemini Embedding 2 tramite Gemini API e Vertex AI, come delineato nella documentazione di Vertex AI per Gemini Embedding 2. L'ID del modello della versione di anteprima è gemini-embedding-2-preview. Per utilizzare la Gemini API, è necessaria una chiave API gratuita, che è possibile ottenere da Google AI Studio. Gli utenti Python possono installare la libreria google-genai usando pip install --upgrade google-genai, come dettagliato nella documentazione degli embedding dell'API Gemini. La chiave API può essere impostata come variabile d'ambiente, GEMINI_API_KEY. Il Google Gen AI SDK fornisce un'interfaccia unificata per i modelli Gemini 2.5 Pro e Gemini 2.0 sia nell'API Sviluppatore Gemini che in Vertex AI, e ulteriori informazioni sono disponibili nel Google Gemini Cookbook su GitHub. Ciò consente l'esecuzione del codice su entrambe le piattaforme con modifiche minime.
pip install --upgrade google-genaiGEMINI_API_KEYDurante l'aggiornamento dal vecchio gemini-embedding-001 a gemini-embedding-2-preview, notare che gli embedding esistono in diversi spazi vettoriali e non sono compatibili. Di conseguenza, tutti i dati devono essere re-embeddedunti e le soglie di similarità devono essere ricalibrate dopo la migrazione. Per i nuovi progetti, si raccomanda di iniziare direttamente con gemini-embedding-2-preview, idealmente con 768 dimensioni.
Per l'archiviazione dei vettori, AlloyDB con l'estensione pgvector presenta un'opzione valida, che offre un indice ScaNN con quantizzazione ad albero e riduzione automatica della dimensionalità. La scelta del task_type (ad esempio, RETRIEVAL_DOCUMENT per l'indicizzazione e RETRIEVAL_QUERY per la ricerca) influisce significativamente sulla qualità. Gemini Embedding 2 supporta otto tipi di attività, tra cui classificazione, clustering e similarità semantica.
Applicazioni pratiche ed esempi
Il repository GitHub di Google offre esempi e guide sull'utilizzo dell'API Gemini, incluso codice Python, disponibile nel Google Gemini Cookbook. Ulteriori esempi specifici per Gemini Embedding 2, che coprono embedding di testo, embedding video, ricerca multimodale e ricerca semantica, sono disponibili sul repository GitHub di Gemini Multimodal Embedding Examples.
Fonte: textstudio.com
Il repository GitHub di Google fornisce preziosi esempi e guide per l'implementazione dell'API Gemini.
Questi esempi includono script progettati per dimostrare funzionalità specifiche:
01_text_embedding.py: Copre embedding di testo singolo e batch, diversi tipi di attività e normalizzazione 768D.02_video_embedding.py: Mostra caricamenti in linea, utilizzo dell'API Files, embedding cross-modale video e testo, e chunking per video più lunghi. Ogni chiamata di embedding può contenere fino a 128 secondi di video; per video più lunghi, viene fornita una funzione helper di chunking.03_multimodal_embedding.py: Illustra la ricerca cross-modale, come la ricerca di video utilizzando query di testo.04_search.py: Esegue la ricerca semantica su embedding archiviati.05_describe.py: Analizza embedding video rispetto a 100 argomenti predefiniti.
Domande frequenti (FAQ)
| Domanda | Risposta |
|---|---|
| Cos'è Gemini Embedding 2? | È il primo modello di embedding completamente multimodale di Google, progettato per complessi compiti di recupero e analisi, in grado di elaborare testo, immagini, video, audio e PDF in uno spazio semantico unificato. |
| Come posso iniziare con Gemini Embedding 2 in Python? | Installa la libreria google-genai tramite pip, ottieni una chiave API gratuita da Google AI Studio e impostala come variabile d'ambiente (GEMINI_API_KEY). |
| Posso usare Gemini Embedding 2 per la ricerca multimodale? | Sì, eccelle nella ricerca semantica multimodale, permettendoti di trovare video con query di testo, ad esempio, e supporta input nidificati (ad es. immagine + testo). |
| Quali dimensioni di output supporta Gemini Embedding 2? | Per impostazione predefinita, genera vettori a 3.072 dimensioni. Puoi personalizzarli a 768, 1536 o 3072 per una qualità ottimale, bilanciando prestazioni e archiviazione. |
| Gemini Embedding 2 è compatibile con i vecchi modelli di embedding? | No, gli embedding di gemini-embedding-001 non sono compatibili. Tutti i dati devono essere re-embeddedunti e le soglie di similarità ricalibrate durante la migrazione a Gemini Embedding 2. |
Conclusione
Gemini Embedding 2 rappresenta un passo significativo verso un'interazione dati più intuitiva e contestuale. Trasformando diversi tipi di dati in una rappresentazione semantica unificata, semplifica pipeline complesse, migliorando le capacità in aree come la Generazione Aumentata di Recupero (RAG), la ricerca semantica, l'analisi del sentiment e il clustering dei dati. La sua comprensione multimodale e le opzioni di dimensionalità flessibili offrono agli sviluppatori potenti strumenti per costruire applicazioni IA sofisticate, spingendo i confini di ciò che i modelli IA integrati possono realizzare.