Pourquoi les benchmarks de l'intelligence artificielle sont défectueux

En bref: Un informaticien soutient que les benchmarks de l'intelligence artificielle sont défectueux, car les entreprises peuvent facilement entraîner des modèles à réussir des tests spécifiques. Cependant, les progrès passés se sont produits parce que les classements des modèles sont restés étonnamment stables malgré des méthodes de test imparfaites.

Nous comptons sur des tests standardisés pour mesurer l'intelligence de l'intelligence artificielle, mais les outils que nous utilisons pour évaluer ces systèmes pourraient être fondamentalement défectueux.

Ce qui s'est passé, en mots simples

Moritz Hardt, informaticien et directeur à l'Institut Max-Planck pour les systèmes intelligents, explique dans son livre que les benchmarks d'apprentissage automatique sont entachés de défauts depuis des décennies. Traditionnellement, les développeurs étaient censés mettre de côté un jeu de données de test pour classer équitablement les modèles. Au lieu de cela, le domaine a ignoré cet avertissement en publiant les jeux de test sur Internet, où les développeurs pouvaient les utiliser pendant l'entraînement. Bien que les scores absolus puissent varier radicalement avec de minimes modifications du jeu de test, les classements relatifs entre les modèles sont restés suffisamment stables pour stimuler le progrès par pur hasard. Aujourd'hui, avec les grands modèles de langage, cette fiabilité accidentelle a disparu, car les concepteurs peuvent préparer stratégiquement leurs modèles pour des tests connus.

Points clés

La méthode de mise à l'écart ignorée: Les manuels standard conseillent d'isoler des jeux de test pour évaluer les modèles équitablement, mais le domaine de l'apprentissage automatique a largement ignoré cette règle et a publié des données de test en ligne.
Les chiffres absolus manquent de sens: Modifier ne serait-ce qu'un peu un jeu de test peut faire osciller considérablement les scores de précision, ce qui signifie qu'un score absolu tel que 90 pour cent ne reflète pas fidèlement la compétence réelle.
Les classements sont restés stables: Par le passé, bien que les scores absolus fussent incertains, les comparaisons relatives entre les modèles sont restées stables, ce qui a par chance épargné à l'apprentissage automatique une crise de reproductibilité.
Apprendre pour l'examen: Les créateurs de grands modèles de langage modernes peuvent concevoir des mélanges de données spécifiquement pour améliorer les performances aux benchmarks, permettant à un modèle inférieur de l'emporter en se préparant au test.

Termes expliqués

Benchmark — Test standardisé utilisé pour mesurer et comparer les capacités de différents systèmes ou modèles informatiques. Exemple: Un test d'orthographe donné à chaque élève d'un district scolaire pour voir quelle classe orthographie le mieux.
Jeu d'entraînement — Ensemble de données que les développeurs injectent dans un modèle d'apprentissage automatique pour l'aider à apprendre et à s'améliorer. Exemple: Une pile de cartes mémoire qu'un étudiant utilise pour réviser avant de passer un examen réel.
Jeu de test — Ensemble distinct de données conservé spécifiquement pour évaluer les performances d'un modèle après son entraînement. Exemple: Les questions de l'examen final que l'enseignant garde secrètes jusqu'au jour du test.
Grand modèle de langage — Système d'intelligence artificielle entraîné sur de vastes quantités de texte pour comprendre et générer un langage semblable à celui des humains. Exemple: Programme informatique avancé capable de rédiger des dissertations, de répondre à des questions et de résumer de longs documents.

Analyse critique

Ce qui est encourageant. Ces travaux offrent la critique lucide et rafraîchissante d'un informaticien reconnu, qui met en lumière des failles structurelles dans la manière dont toute une discipline mesure ses propres progrès au lieu de simplement encenser les dernières capacités en date.

Ce qui appelle à la prudence:

Fondé sur l'avis d'un expert. Les observations proviennent d'une interview et d'un livre rédigés par un seul expert, plutôt que d'une vaste étude scientifique évaluée par des pairs et dotée de données expérimentales.
Absence de théorie historique. La source note qu'il n'existe aucune théorie globale expliquant pourquoi les classements relatifs ont si bien fonctionné par le passé, ce qui signifie que ce succès antérieur relève essentiellement de la chance.
Solutions d'avenir incertaines. Bien que l'interview souligne une crise profonde dans les tests d'intelligence artificielle modernes, elle s'arrête avant de proposer une solution pleinement validée pour résoudre le problème.

En conclusion: Les benchmarks de l'intelligence artificielle fournissent des scores absolus trompeurs, et les modèles modernes peuvent facilement bachoter pour fausser leur classement.

Ce que l'on ne sait pas encore

Le texte source s'interrompt au milieu d'une phrase alors qu'il aborde une anecdote historique concernant un coureur olympique, laissant sans réponse les solutions proposées à la crise des benchmarks.

D'après un article de Quanta Magazine. Ceci est une explication indépendante, rédigée avec nos propres mots et l'aide d'une IA ; Quanta Magazine ne l'a ni relue ni approuvée. Consultez l'original pour tous les détails.