Ai2 met à jour son planificateur de matériel d'IA pour partager les GPU équitablement
Ai2 a modifié sa manière de distribuer le temps de GPU limité entre les chercheurs en introduisant des budgets et une planification par partage équitable. Cette mise à jour empêche les équipes d'accaparer le matériel et aligne l'utilisation du matériel sur les objectifs stratégiques.
En bref: Ai2 a modifié sa manière de distribuer le temps de GPU limité entre les chercheurs en introduisant des budgets et une planification par partage équitable. Cette mise à jour empêche les équipes d'accaparer le matériel et aligne l'utilisation du matériel sur les objectifs stratégiques.
Quand des centaines de chercheurs convoitent un stock restreint de puces informatiques puissantes, l'équité cède généralement le pas à des stratagèmes et à l'accaparement. L'équipe d'infrastructure d'IA d'Ai2 a fait face à cette cohue exacte et a décidé de réécrire les règles de partage de son matériel lourd.
Ce qui s'est passé, en mots simples
L'équipe d'infrastructure d'IA d'Ai2 gère des milliers d'unités de traitement graphique NVIDIA avancées, ou GPU, qui sont des puces informatiques spécialisées conçues pour traiter des calculs massifs en même temps. Ces puces desservent environ 150 chercheurs internes travaillant sur de grands modèles de langage, des modèles multimodaux vision-langage, des simulations en robotique et des agents scientifiques. La demande pour ces puces étant de deux à trois fois supérieure à l'offre, Ai2 utilisait auparavant un planificateur fondé sur les priorités qui permettait aux équipes de qualifier leurs tâches de haute priorité et d'empêcher d'autres utilisateurs de les interrompre. Cet ancien système a engendré des problèmes tels que l'accaparement de matériel, l'inflation des priorités où chaque tâche était étiquetée comme prioritaire, et une perte de temps pour les ingénieurs. Pour y remédier, Ai2 a remplacé l'ancien système par une nouvelle configuration dotée de budgets de temps de GPU, d'une allocation hiérarchique par partage équitable et d'un contrat de découpage temporel. Cette nouvelle méthode permet aux gestionnaires de répartir des parts de temps de GPU en fonction de la stratégie du projet plutôt que de laisser des utilisateurs individuels se battre pour les ressources à la volée.
Points clés
- La demande dépasse largement l'offre: Ai2 a des demandes actives pour deux à trois fois plus de GPU que l'institut n'en possède réellement.
- L'ancien système a échoué: Permettre aux équipes de protéger leurs tâches contre toute interruption a conduit à l'accaparement de matériel, à l'inflation des priorités et à des frictions constantes.
- Passage à un modèle d'investissement: Au lieu de laisser les utilisateurs se disputer les machines, Ai2 offre désormais aux dirigeants un processus budgétaire transparent pour décider à l'avance du temps de GPU que mérite chaque projet.
- Utilisation de mathématiques d'équité établies: Ai2 a associé son outil de budgétisation à un planificateur hiérarchique par partage équitable, en utilisant une fenêtre glissante rétrospective pour suivre et équilibrer l'utilisation du matériel au fil du temps.
Termes expliqués
- GPU — Puce informatique spécialisée conçue pour traiter de nombreux calculs exactement en même temps, ce qui la rend essentielle à l'apprentissage de l'intelligence artificielle. Exemple: Un mixeur de cuisine haut de gamme conçu pour broyer de la glace et hacher des légumes en même temps, tandis qu'un processeur classique ressemble à un d'couteau qui découpe une carotte à la fois.
- Planificateur — Programme informatique qui décide quelles tâches peuvent utiliser le matériel et quand. Exemple: Un hôte de restaurant qui décide quelle famille en attente obtient la prochaine table disponible.
- Préemptivité — Capacité à suspendre une tâche informatique en cours afin qu'une tâche plus importante puisse utiliser le matériel à la place. Exemple: Suspendre le téléchargement d'un jeu vidéo sur votre téléphone pour qu'un appel urgent puisse passer.
Pourquoi c'est important
Gérer efficacement des ressources de calcul rares est un défi courant pour les grands laboratoires de recherche. En passant d'une bousculade chaotique de priorités à un processus transparent de budget et de partage équitable, les organisations peuvent aligner leur utilisation du matériel sur leurs véritables objectifs stratégiques.
Ce que l'on ne sait pas encore
La source note qu'il est impossible de prédire la demande future, car les expériences scientifiques novatrices ne peuvent pas être prévues avec précision. Elle mentionne également que le processus de budgétisation fait encore l'objet d'itérations actives.
D'après un article de Hugging Face Blog. Ceci est une explication indépendante, rédigée avec nos propres mots et l'aide d'une IA ; Hugging Face Blog ne l'a ni relue ni approuvée. Consultez l'original pour tous les détails.