VertexAI Gemini

Comparé aux autres types de LLM pris en charge par Dydu, VertexAI a besoin d'une configuration spécifique pour fonctionner.

Introduction

Google met en place plusieurs types d'authentification pour pouvoir interagir avec VertexAI :

• Échange de clef privée (non recommandé)

• Utilisation de la CLI Google Cloud

• Configuration d'une Fédération d'Identité de Charge de Travail (WIF)

La solution que nous proposons est la 3e de la liste. Cette configuration a quand même besoin de certains pré-requis qui ne seront pas expliqués dans cette documentation, à savoir :

• La création d'un compte de service, qui devra avoir les autorisations nécessaires pour l'accès au LLM

• La création d'un OIDC, qui sera paramétré dans le fournisseur du WIF

Création d'une Fédération d'Identité de Charge de Travail (WIF)

Pour commencer, allez dans le menu IAM et administration > Fédération d'identité de charge de travail :

Accès au menu de paramétrage du WIF

Vous arrivez sur une interface listant les Pools d'Identité de Charge de Travail. Il faut en ajouter un en cliquant sur le bouton d'ajout en haut de l'écran : Créer un pool.

Création d'un pool

Complétez ensuite le nom et la description. Mettez le nom de côté, il servira pour la configuration côté Contenus Externes du BMS.

Paramétrage du nom et de la description

Cliquez sur Continuer. Vous accédez au paramétrage du Fournisseur à ajouter au pool d'identité. Dydu prend en charge les fournisseurs de type OIDC. Sélectionnez OpenID Connect (OIDC) dans la liste, puis donnez-lui un nom qui sera nécessaire pour la configuration côté BMS.

Maintenant, il faut configurer l'OIDC avec celui que vous avez préalablement mis en place. Complétez l'ID du fournisseur (clientId), l'émetteur (issuer), et le fichier JWK au format json si vous l'avez configuré de votre côté. Utilisez l'URL "https://.../.well-known/openid-configuration" pour configurer plus facilement cette partie. Ensuite, vous devez choisir la valeur de l'audience qui sera nécessaire dans le token délivré par votre OIDC. Cette valeur devra se trouve dans le claim aud du token délivré. Par exemple :

Valeur du claim aud dans un access_token

Enfin, terminez le mappage des attributs pour finir la configuration du fournisseur de votre pool d'identité. Enregistrez, puis rendez-vous sur la page Informations sur le pool <nom_du_poll> créé. Cliquez sur le bouton Accorder l'accès, puis sélectionnez Accorder l'accès via l'emprunt d'identité de compte de service. Sélectionnez votre compte de service dans la liste, puis compléter le mappage.

Paramétrage pour accorder l'accès au compte de service

Cliquez sur Enregistrer, une nouvelle fenêtre s'ouvre pour configurer votre application. Sélectionnez le fournisseur dans la liste, complétez les informations suivantes, puis cliquez sur Masquer. Le téléchargement de la configuration n'est pas utile pour la suite.

Configuration de l'application

Le paramétrage côté Google Cloud est maintenant terminé.

Configuration du WIF côté BMS

Une fois sur le BMS, cliquez sur Contenus > Contenus externes. Dans la zone de configuration Résumé des paramètres de mon LLM, cliquez sur Modifier, puis sélectionnez VertexAI Gemini dans la liste des types de modèles LLM.

Sélection de VertexAI côôté BMS

Cliquez ensuite sur Configurer dans la partie *Configuration du fournisseur*. Une nouvelle fenêtre s'ouvre en survol. Il faudra paramétrer l'appel au point de terminaison /token de votre OIDC. Cet appel doit être un POST, et ne doit contenir que des headers et des paramètres url-encodés.

Fenêtre de configuration du fournisseur

Vous avez deux choix :

• Compléter toutes les informations à la main

• Coller une requête CURL dans la zone basse : toute la configuration sera faite automatiquement

Paramétrage fournisseur terminé

Une fois le paramétrage terminé, vous pouvez cliquer en-dehors de cette fenêtre. Le bouton de configuration a été renommé, et vous verrez la requête CURL au survol de celui-ci. Complétez les modèles de l'étape 3 en fonction de ceux que vous souhaitez utiliser. Vous êtes maintenant à la dernière étape.

Paramétrage du WIF

Voici où trouver les informations requises sur Google Cloud :

• Numéro du projet : Cliquez sur les 3 barres horizontales en haut à gauche, puis sur Présentation du cloud > Tableau de bord. Prenez le numéro du projet.

  
• Région à utiliser : voir la documentation Google Cloud

• Identifiant du pool du WIF : Correspond à la valeur de la colonne Identifiant à côté du pool créé dans les premières étapes

• Identifiant du fournisseur : Depuis votre pool, cliquez sur Modifier sur la ligne de votre fournisseur, puis prenez la valeur d'Identifiant.

  
• Email du compte de service : L'information se trouve dans l'écran des comptes de service. Copiez l'email de celui qui a les autorisations d'accéder à VertexAI, puis renseignez-le dans le champ.

La configuration est terminée !