Comment une astuce d'attention simple a déclenché le boom de l'IA moderne

En bref: En 2014, un stagiaire universitaire et son équipe ont créé un outil d'« attention » pour aider les programmes informatiques à traduire de longues phrases. Cette méthode mathématique simple a mené aux technologies d'IA modernes telles que ChatGPT.

Tous les principaux outils d'IA que vous voyez aujourd'hui, des robots conversationnels aux assistants médicaux, tirent leurs origines d'un étudiant stagiaire travaillant dans un laboratoire en 2014.

Ce qui s'est passé, en mots simples

En 2014, un étudiant de 23 ans nommé Dzmitry Bahdanau a travaillé avec les chercheurs Yoshua Bengio et Kyunghyun Cho à l'Université de Montréal. Ils voulaient améliorer la manière dont les réseaux de neurones artificiels traduisent des phrases en anglais vers le français. Auparavant, les programmes informatiques peinaient avec les phrases longues parce qu'ils tentaient de faire tenir toutes les données dans une quantité fixe de mémoire. Bahdanau a inventé une opération mathématique appelée « attention » qui permettait au réseau informatique de se concentrer sur les mots les plus importants d'une phrase lors de la traduction. En 2017, des chercheurs de Google ont utilisé cette idée pour construire un nouveau réseau appelé transformer, qui est devenu le fondement des grands modèles de langage modernes comme ChatGPT.

Points clés

Le goulot d'étranglement de la mémoire dans la traduction initiale: Les premiers réseaux de neurones artificiels essayaient de faire entrer chaque phrase dans une quantité fixe de mémoire, ce qui faisait baisser la qualité de la traduction pour les phrases plus longues.
La création de l'attention: Dzmitry Bahdanau a conçu un outil mathématique permettant aux réseaux de neurones d'examiner une phrase entière pour déterminer quels mots affectent le sens du mot suivant.
L'essor des transformers: En 2017, une équipe de Google a créé l'architecture transformer, qui a surmultiplié la méthode d'attention et nécessité moins de ressources informatiques pour l'apprentissage.

Termes expliqués

Réseaux de neurones artificiels — Systèmes informatiques inspirés du cerveau humain qui apprennent à reconnaître des motifs en ajustant les connexions entre des nœuds sur la base de données d'entraînement. Exemple: Reconnaître une écriture manuscrite ou repérer des objets sur des photographies.
Attention — Opération mathématique qui aide un système d'IA à examiner différentes parties d'un texte pour voir quels mots se connectent et s'informent mutuellement. Exemple: Déterminer si le mot « il » fait référence à un animal ou à une rue dans une phrase.
Transformer — Type spécifique d'architecture de réseau de neurones qui s'appuie fortement sur la méthode d'attention pour traiter et traduire le langage efficacement. Exemple: Le système sous-jacent utilisé par les grands modèles de langage comme ChatGPT et Claude.
Vecteur — Représentation numérique d'un mot que l'on peut voir comme une flèche pointant dans une direction spécifique. Exemple: Convertir un mot en une chaîne de chiffres qu'un réseau informatique peut traiter.

Pourquoi c'est important

Le mécanisme d'attention a résolu un obstacle majeur de la traduction automatique, rendant les systèmes de langage informatiques évolutifs. Cette percée a ouvert la voie aux outils actuels qui aident à rédiger, à générer des vidéos et à résoudre des problèmes mathématiques.

Ce que l'on ne sait pas encore

Des experts soulignent qu'il est souvent difficile d'interpréter ce que font réellement les têtes d'attention individuelles au sein d'un réseau. La source n'établit pas si l'attention est véritablement l'essence fondamentale de l'intelligence générale.

D'après un article de Quanta Magazine. Ceci est une explication indépendante, rédigée avec nos propres mots et l'aide d'une IA ; Quanta Magazine ne l'a ni relue ni approuvée. Consultez l'original pour tous les détails.