Gemini Embedding 2 : Guide Python pour la Compréhension Multimodale
Déverrouiller la Compréhension Multimodale avec Gemini Embedding 2
Je me souviens d'une époque où l'information numérique semblait cloisonnée, enfermée dans son format. Le texte vivait dans un espace, les images dans un autre, et l'audio entièrement séparé. Aujourd'hui, avec des avancées comme Gemini Embedding 2 de Google, nous assistons à une convergence, une compréhension unifiée de divers types de données qui promet de transformer notre façon d'interagir avec l'information.
Source: Cette bannière combine élégamment des éléments visuels qui font allusion aux capacités d'IA multimodales.
Le modèle Gemini Embedding 2 de Google, lancé en pré-aperçu public le 10 mars 2026, marque le premier modèle d'embedding entièrement multimodal de l'entreprise, conçu pour des tâches complexes de récupération et d'analyse. Vous pouvez en lire plus sur le blog officiel de Google AI. Ce modèle mappe efficacement diverses entrées — texte, images, vidéo, audio et PDF — dans un espace sémantique unique et unifié. Cette capacité est particulièrement bénéfique pour les applications nécessitant une recherche sémantique multimodale, une récupération de documents et des systèmes de recommandation, comme détaillé dans le article de blog d'annonce.
Résumé Rapide
- Capacités Multimodales : Traite le texte, les images, la vidéo, l'audio et les PDF dans un espace sémantique unifié.
- Espace Sémantique Unifié : Mappe diverses entrées dans un espace d'embedding unique pour une récupération et une analyse efficaces.
- Dimensionalité des Vecteurs : Génère par défaut des vecteurs de 3 072 dimensions, avec des options pour 768, 1 536 et 3 072.
- Matryoshka Representation Learning (MRL) : Permet une mise à l'échelle dynamique de l'information à travers les dimensions pour des performances et un stockage flexibles.
- Support Linguistique : Capture l'intention sémantique dans plus de 100 langues.
- Accès : Disponible via l'API Gemini et Vertex AI, nécessite une clé API gratuite.
- Intégration Python : Intégration facile avec la bibliothèque google-genai.
- Note de Migration : Incompatible avec gemini-embedding-001 ; nécessite le ré-encodage de toutes les données.
- Applications Clés : Améliore la Génération Augmentée par Récupération (RAG), la recherche sémantique, l'analyse de sentiments et le clustering de données.
Capacités de Gemini Embedding 2
Gemini Embedding 2 accepte un large éventail d'entrées multimodales, comme expliqué dans le article de blog de Google AI. Il peut traiter jusqu'à 8 192 jetons d'entrée pour le texte, et jusqu'à six images par requête aux formats PNG et JPEG. Les entrées vidéo, prises en charge en MP4 et MOV, peuvent durer jusqu'à 120 secondes. Le modèle traite nativement les données audio sans nécessiter de transcription textuelle intermédiaire, et il peut analyser directement des documents PDF jusqu'à six pages de longueur. De plus, il comprend les entrées imbriquées, permettant plusieurs modalités, comme une image combinée avec du texte, dans une seule requête. Une fonctionnalité importante est sa capacité à effectuer la Reconnaissance Optique de Caractères (OCR) sur les entrées de documents. Pour les entrées vidéo, il peut extraire les pistes audio et les entrelacer avec les images vidéo.
Le modèle génère par défaut des vecteurs en virgule flottante de 3 072 dimensions, comme indiqué dans la documentation Vertex AI. Cependant, cette dimensionnalité de sortie est personnalisable à l'aide du paramètre output_dimensionality, permettant la génération de vecteurs plus petits pour équilibrer les performances et les coûts de stockage. Les dimensions de sortie recommandées pour une qualité optimale sont 768, 1 536 et 3 072. Gemini Embedding 2 utilise le Matryoshka Representation Learning (MRL), qui met à l'échelle dynamiquement l'information à travers les dimensions. MRL prend en charge un schéma de récupération en deux étapes : des vecteurs plus petits pour une pré-sélection rapide, suivis de vecteurs complets pour un ré-ordonnancement. La sortie par défaut de 3 072 dimensions est déjà normalisée ; pour des dimensions réduites comme 768D ou 1536D, la normalisation L2 doit être appliquée manuellement.
Source: dreamstime.com
Gemini Embedding 2 utilise le Matryoshka Representation Learning, permettant une mise à l'échelle dynamique de l'information à travers les dimensions vectorielles.
De manière cruciale, le modèle capture l'intention sémantique dans plus de 100 langues. Les instructions de tâche personnalisées, telles que task:code retrieval ou task:search result, optimisent davantage les embeddings pour des relations spécifiques, améliorant ainsi la précision. La date limite de connaissance du modèle est spécifiée comme novembre 2025.
Accéder et Intégrer Gemini Embedding 2
Les développeurs peuvent accéder à Gemini Embedding 2 via l'API Gemini et Vertex AI, comme décrit dans la documentation Vertex AI pour Gemini Embedding 2. L'identifiant du modèle de la version de pré-aperçu est gemini-embedding-2-preview. Pour utiliser l'API Gemini, une clé API gratuite est requise, que vous pouvez obtenir auprès de Google AI Studio. Les utilisateurs de Python peuvent installer la bibliothèque google-genai en utilisant pip install --upgrade google-genai, comme détaillé dans la documentation des embeddings de l'API Gemini. La clé API peut être définie comme une variable d'environnement, GEMINI_API_KEY. Le SDK Google Gen AI fournit une interface unifiée pour les modèles Gemini 2.5 Pro et Gemini 2.0 sur l'API Développeur Gemini et Vertex AI, et plus d'informations peuvent être trouvées dans le Google Gemini Cookbook sur GitHub. Cela permet l'exécution de code sur l'une ou l'autre plateforme avec des modifications minimales.
pip install --upgrade google-genaiGEMINI_API_KEYLors de la mise à niveau de l'ancien gemini-embedding-001 vers gemini-embedding-2-preview, notez que les embeddings existent dans des espaces vectoriels différents et ne sont pas compatibles. Par conséquent, toutes les données doivent être ré-encodées, et les seuils de similarité doivent être recalibrés après la migration. Pour les nouveaux projets, il est recommandé de commencer directement avec gemini-embedding-2-preview, idéalement avec 768 dimensions.
Pour stocker des vecteurs, AlloyDB avec l'extension pgvector présente une option viable, offrant un index ScaNN avec quantification arborescente et réduction automatique de la dimensionnalité. Le choix du task_type (par exemple, RETRIEVAL_DOCUMENT pour l'indexation et RETRIEVAL_QUERY pour la recherche) a un impact significatif sur la qualité. Gemini Embedding 2 prend en charge huit types de tâches, y compris la classification, le clustering et la similarité sémantique.
Applications pratiques et exemples
Le référentiel GitHub de Google propose des exemples et des conseils sur l'utilisation de l'API Gemini, y compris du code Python, disponible dans le Google Gemini Cookbook. Des exemples supplémentaires spécifiquement pour Gemini Embedding 2, couvrant l'embedding de texte, l'embedding vidéo, la recherche multimodale et la recherche sémantique, sont disponibles sur le référentiel GitHub d'exemples d'embeddings multimodaux Gemini.
Source: textstudio.com
Le référentiel GitHub de Google fournit de précieux exemples et des conseils pour implémenter l'API Gemini.
Ces exemples incluent des scripts conçus pour démontrer des fonctionnalités spécifiques :
01_text_embedding.py: Couvre l'embedding de texte simple et par lots, différents types de tâches et la normalisation 768D.02_video_embedding.py: Montre les téléchargements en ligne, l'utilisation de l'API Files, l'embedding inter-modal vidéo et texte, et le chunking pour les vidéos plus longues. Chaque appel d'embedding prend en charge jusqu'à 128 secondes de vidéo ; pour les vidéos plus longues, une fonction d'aide au chunking est fournie.03_multimodal_embedding.py: Illustre la recherche inter-modale, comme la recherche de vidéos à l'aide de requêtes textuelles.04_search.py: Effectue une recherche sémantique sur les embeddings stockés.05_describe.py: Analyse les embeddings vidéo par rapport à 100 sujets prédéfinis.
Questions fréquemment posées (FAQ)
| Question | Réponse |
|---|---|
| Qu'est-ce que Gemini Embedding 2 ? | C'est le premier modèle d'embedding entièrement multimodal de Google, conçu pour des tâches complexes de récupération et d'analyse, capable de traiter le texte, les images, la vidéo, l'audio et les PDF dans un espace sémantique unifié. |
| Comment puis-je commencer avec Gemini Embedding 2 en Python ? | Installez la bibliothèque google-genai via pip, obtenez une clé API gratuite depuis Google AI Studio et définissez-la comme une variable d'environnement (GEMINI_API_KEY). |
| Puis-je utiliser Gemini Embedding 2 pour la recherche multimodale ? | Oui, il excelle dans la recherche sémantique multimodale, vous permettant de trouver des vidéos avec des requêtes textuelles, par exemple, et prend en charge les entrées imbriquées (par exemple, image + texte). |
| Quelles dimensions de sortie Gemini Embedding 2 prend-il en charge ? | Par défaut, il génère des vecteurs de 3 072 dimensions. Vous pouvez personnaliser cela à 768, 1 536 ou 3 072 pour une qualité optimale, en équilibrant performance et stockage. |
| Gemini Embedding 2 est-il compatible avec les anciens modèles d'embedding ? | Non, les embeddings de gemini-embedding-001 ne sont pas compatibles. Toutes les données doivent être ré-encodées, et les seuils de similarité recalibrés lors de la migration vers Gemini Embedding 2. |
Conclusion
Gemini Embedding 2 représente une étape significative vers une interaction plus intuitive et contextuelle avec les données. En transformant divers types de données en une représentation sémantique unifiée, il simplifie les pipelines complexes, améliorant les capacités dans des domaines tels que la Génération Augmentée par Récupération (RAG), la recherche sémantique, l'analyse de sentiments et le clustering de données. Sa compréhension multimodale et ses options de dimensionnalité flexibles offrent aux développeurs des outils puissants pour construire des applications d'IA sophistiquées, repoussant ainsi les limites de ce que les modèles d'IA intégrés peuvent accomplir.