LLM : comment configurer chaque type de modèle ?

Une fois une ou plusieurs collections créées dans le menu Contenus externes, il est possible de configurer un modèle LLM.

Résumé des paramètres de mon LLM

La modale Résumé des paramètres de mon LLM permet de configurer les paramètres nécessaires au fonctionnement du LLM qui va être utilisé.

Dans la modale ci-dessus, il est possible de renseigner les paramètres suivants selon le type de LLM choisi en cliquant sur le bouton Modifier :

Type de modèle LLM : il en existe plusieurs -> Azure OpenAI Dydu, OpenAI, Azure OpenAI, MistralAI, GoogleAI Gemini, VertexAI Gemini, Scaleway.
Clé d'authentification API : Entrez la clé d’authentification API associée au modèle LLM que vous allez utiliser.
Modèle LLM et d'indexation (embedding) :
1. Modèle LLM : Un LLM est un modèle d’intelligence artificielle entraîné sur beaucoup de textes pour comprendre et générer du langage naturel. Il peut traduire, résumer, répondre à des questions, etc, en s’appuyant sur le contexte et le sens des mots.
2. Modèle d'embedding : Un modèle d'embedding transforme des mots ou phrases en vecteurs numériques pour que l’intelligence artificielle puisse comparer leur sens. Des textes similaires auront des vecteurs proches, ce qui aide à traiter et retrouver l’information plus intelligemment.
Options supplémentaires : Selon le modèle du LLM que vous allez utiliser, il peut y avoir des options supplémentaires à renseigner.

Une fois les paramètres renseignés , il suffit de cliquer sur appliquer et le modèle est prét à être utilisé.

Types de modèles LLM

Depuis la liste déroulante dans Résumé des paramètres de mon LLM, vous pouvez choisir celui que vous souhaitez utiliser :

Azure OpenAI Dydu :

Le modèle Azure OpenAI Dydu est utilisé par défaut, sans nécessité d'ajuster les paramètres.

OpenAI :

Voici le lien vers les modèles de LLM et d'embedding que vous pouvez utiliser.
Version de l'API : v1 est la version utilisée par défaut chez OpenAI pour les endpoints, donc c'est possible laisser v1 ou d'utiliser une autre version.

Azure OpenAI :

Si vous souhaitez partir sur une configuration Azure, vous aurez besoin de créer deux déploiements :
- Le premier pour le modèle de LLM à utiliser, par exemple : gpt-4o-mini
- Le second, pour l'indexation (embedding), par exemple : text-embedding-3-large
L’exemple mentionné ci-dessus sert uniquement à des fins d’illustration. Toutefois, les différents modèles LLM ainsi que les méthodes d’indexation sont en constante évolution. Voici le lien vers les modèles de LLM et d'embedding
Il faut se connecter sur votre portail Azure : https://portal.azure.com afin de remplir les champs requis :
Dans votre ressource Azure OpenAI, vous trouverez :
- Clé d’authentification API :
Allez dans : Clés et points de terminaison .
Vous y verrez deux clés Key1 et Key2 , copiez l’une d’elles.
- Point de terminaison AzureOpenAI
Dans la même section, vous verrez aussi l’URL de point de terminaison, du style : https://nom-de-ta-ressource.openai.azure.com/
- Nom des déploiements
C’est le nom que vous avez donné au déploiement du modèle, par exemple : gpt-4, chat, embedding-model, etc.
Allez dans l’onglet "Déploiements" pour le retrouver.
- Version de l’API
Vous pouvez le voir dans la documentation officielle Azure OpenAI ou dans le portail.

MistralAI :

Exemple de Modèle LLM et d'indexation (embedding) :
- Modèle de LLM : ministral-8b-latest
- Modèle d'embedding : mistral-embed
L’exemple mentionné ci-dessus sert uniquement à des fins d’illustration. Toutefois, les modèles de LLM ainsi que les méthodes d’indexation sont en constante évolution. Voici le lien vers les modèles de LLM et le lien vers les modèles d'embedding

GoogleAI Gemini :

Exemple de Modèle LLM et d'indexation (embedding) :
- Modèle LLM : gemini-1.5-flash-latest
- Modèle d'embedding : models/text-embedding-004
L’exemple mentionné ci-dessus sert uniquement à des fins d’illustration. Toutefois, les modèles de LLM ainsi que les méthodes d’indexation sont en constante évolution. Voici le lien vers les modèles de LLM et d'embedding

VertexAI Gemini :

Pour configurer les paramètres de VertexAI Gemini, veuillez consulter la page suivante : VertexAI Gemini

Scaleway :

Voici le lien vers les modèles de LLM et d'embedding

Custom LLM

Si vous souhaitez utiliser votre propre LLM personnalisé, qui ne correspond à aucun des types mentionnés précédemment, vous avez la possibilité de configurer manuellement votre instance.

Cette configuration nécessite quelques pré-requis :

Disposer d’une URL exposant les routes spécifiées dans le tableau ci-dessous (ex. : https://mon-api.test.fr/openai, permettant d’accéder aux endpoints /openai/chat/completion ou /openai/embeddings)
Fournir une clé API via le header Authorization (format : Bearer)
Indiquer les modèles de LLM et d’embedding que vous souhaitez utiliser (information nécessaire de notre côté)