Tout ce que vous avez toujours voulu savoir sur le deep learning

Pour se repérer dans le maquis des méthodes contemporaines d’intelligence artificielle, et de leurs applications, nous avons demandé à Raphaël Olivier, jeune chercheur français, doctorant à l’université Carnegie Mellon, à Pittsburgh, de nous guider. En mettant l’accent sur ce qui est au cœur des modèles de ces dernières années : le deep learning, ou apprentissage profond.

Les mots-clefs

• Tâche

Traduire du français à l’anglais, dessiner une image, jouer au bridge, trouver la meilleure pub à montrer à un client, répondre au téléphone…

• Modèle

Une fonction, au sens mathématique – elle prend une entrée et sort une prédiction. Elle doit remplir la tâche. Si vous faites de la traduction français-anglais, l’entrée sera une phrase en français, et la prédiction est censée être une phrase en anglais.

• Architecture

C’est la « forme » du modèle, les opérations autorisées dans la fonction. Elle est constituée de nombreux sous-modèles très simples, les neurones, arrangés entre eux pour faire un modèle complexe. Plusieurs architectures types existent, mais nombre de modèles aujourd’hui sont des variations sur l’architecture Transformer, inventée par Google en 2017.

• Paramètre

C’est le « contenu » du modèle, la valeur assignée des différentes connexions. C’est là qu’est l’« intelligence ». L’analogue humain le plus proche serait les connexions synaptiques. Créer un modèle d’IA, c’est avant tout trouver les bons paramètres.

• Données d’entraînement

Elles sont constituées d’exemples d’entrées et, si possible, de prédictions correctes, qui servent d’exemple au modèle (comme des phrases françaises et leur traduction anglaise).

Quelques concepts liés aux modèles de langage

• Prompting 

Un modèle de langage peut générer beaucoup de choses à condition de savoir lui demander, c’est-à-dire de bien choisir l’entrée. Cela s’appelle le prompting. Un exemple : le modèle génère des textes cohérents, il répondra mieux s’il prédit la réponse de quelqu’un de compétent ! Autrement dit, au lieu de lui demander « Quel est le sens de la vie ? », il vaut mieux formuler le prompting suivant : « Quel est le sens de la vie ? Je suis professeur de philosophie et voici ma réponse : »