Comment les IA apprennent à si bien nous parler
Les
chatbots conversent désormais de façon naturelle avec leurs utilisateurs, parfois au fil de longs échanges. Derrière cette fluidité apparente se cache une mécanique complexe d'apprentissage et d'optimisation, guidée par les préférences humaines.
L’extension des usages des robots conversationnels (ou chatbots) associés aux grands modèles de langage (LLM, large language model) en accès public, tels Claude ou ChatGPT, s’est accompagnée d’une capacité de plus en plus grande de ces interfaces à entretenir des conversations fluides, non seulement correctes sur le plan grammatical, mais également pertinentes – le plus souvent –, désormais quasi indiscernables du langage naturel, aptes de surcroît à exécuter des tâches complexes, comme l’écriture de code informatique.
Cette capacité repose sur une architecture en plusieurs étages, qui transforme progressivement un simple modèle statistique en une interface capable d’optimiser ses réponses selon des critères complexes.
L’entraînement initial d’un modèle de langage consiste d’abord à le nourrir d’immenses corpus textuels, de manière à le rendre peu à peu capable de prédire correctement la suite à donner à une séquence de mots (les « prompts cachés » définis par les développeurs et les phrases formulées dans les « prompts » que l’utilisateur soumet au modèle).
À ce stade, le modèle est capable de reproduire des structures linguistiques, mais sans contrainte particulière.
C’est l’introduction de l’apprentissage par renforcement à partir de retours humains (RLHF : reinforcement learning with human feedback) qui va modifier profondément cette logique : le modèle ne se contente alors plus de prédire, il apprend aussi à choisir parmi ses productions celles qui maximisent une certaine forme de satisfaction... humaine.
Contrairement au cadre classique de l’apprentissage par renforcement, où la récompense est définie explicitement (comme des points dans un jeu), elle est ici apprise à partir de jugements humains. Des annotateurs 1 comparent différentes réponses produites par le modèle et indiquent celles qu’ils jugent préférables. Ces préférences servent à entraîner un modèle de récompense 2, afin qu’il prédise le jugement des humains parmi différentes réponses, et attribue à chacune une mesure de leur qualité, s’approchant de celle perçue par les utilisateurs.
Qualité humaine
Une fois ce modèle de récompense construit, le système entre dans la phase proprement dite d’apprentissage par renforcement. Le modèle de langage initial va être, classiquement, entraîné à partir de volumineux corpus de prompts, mais cet apprentissage se fait sous le contrôle du modèle de récompense 3.
L’algorithme le plus couramment utilisé pour cela est le proximal policy optimization (PPO), qui ajuste progressivement les réponses du modèle aux prompts, de manière à valoriser celles obtenant la meilleure « note » de qualité, sans toutefois s’éloigner des réponses fournies sans cet ajustement. Celles qui s’en écartent trop sont pénalisées. Le but : éviter que le modèle apprenne à maximiser le score de qualité sans réellement s’améliorer – par exemple, s’il produit des réponses incohérentes mais bien notées, du fait de failles dans le modèle de récompense ou de son alignement imparfait avec les préférences véritables des utilisateurs. Ce phénomène, connu sous le nom de reward hacking [ou « détournement de récompense »], ne sera cependant pas déjoué si le modèle emploie des subterfuges, comme l’allongement de ses réponses, ou s’il flatte l’utilisateur (obtenant ainsi une meilleure note).
Cette architecture classique, avec son modèle de récompense intermédiaire, est aujourd’hui complétée par d’autres approches, comme le direct preference optimization (DPO), qui raccourcissent la procédure, afin que le modèle...
apprenne plus rapidement à générer les meilleures réponses, sans l’étape intermédiaire de modélisation explicite de la récompense. D’autres variantes, comme le reinforcement learning from AI feedback (RLAIF), remplacent partiellement les évaluateurs humains par d’autres LLM, utilisés comme juges de la qualité des réponses produites, afin de réduire les coûts et d’augmenter l’échelle des données.
Dans tous les cas, le RLHF repose sur un principe fondamentalement fragile : il n’optimise pas directement les valeurs humaines, mais une approximation apprise de ces valeurs
toute approximation, celle-ci peut être biaisée ou incomplète : les préférences collectées peuvent introduire des biais culturels ou contextuels
