Ai2 actualiza su programador de hardware de IA para compartir GPUs de forma justa
Ai2 cambió la forma en que distribuye el escaso tiempo de GPU entre los investigadores al introducir presupuestos y programación por reparto equitativo. Esta actualización evita que los equipos acaparen hardware y alinea el uso del hardware con los objetivos estratégicos.
En resumen: Ai2 cambió la forma en que distribuye el escaso tiempo de GPU entre los investigadores al introducir presupuestos y programación por reparto equitativo. Esta actualización evita que los equipos acaparen hardware y alinea el uso del hardware con los objetivos estratégicos.
Cuando cientos de investigadores persiguen un suministro limitado de chips de computadora potentes, la justicia suele perder frente a trucos ingeniosos y al acaparamiento. El equipo de infraestructura de IA de Ai2 se enfrentó exactamente a esta lucha y decidió reescribir las reglas sobre cómo se comparte su hardware pesado.
Qué ocurrió, en palabras sencillas
El equipo de infraestructura de IA de Ai2 gestiona miles de unidades de procesamiento gráfico NVIDIA avanzadas, o GPUs, que son chips de computadora especializados diseñados para manejar cálculos masivos al mismo tiempo. Estos chips sirven a unos 150 investigadores internos que trabajan en grandes modelos de lenguaje, modelos de visión y lenguaje, simulaciones de robótica y agentes científicos. Debido a que la demanda de estos chips es de dos a tres veces mayor que la oferta, Ai2 utilizaba anteriormente un programador basado en prioridades que permitía a los equipos etiquetar sus tareas como de alta prioridad y bloquear a otros usuarios para que no las interrumpieran. Este sistema más antiguo causó problemas como el acaparamiento de hardware, prioridades influidas donde cada tarea se marcaba como de alta prioridad y tiempo perdido para los ingenieros. Para solucionar esto, Ai2 reemplazó el antiguo sistema con una nueva configuración que incluye presupuestos de tiempo de GPU, asignación jerárquica de reparto equitativo y un contrato de división de tiempo. Este nuevo método permite a los gestores distribuir porciones de tiempo de GPU basadas en la estrategia del proyecto en lugar de dejar que los usuarios individuales luchen por los recursos sobre la marcha.
Puntos clave
- La demanda supera con creces la oferta: Ai2 tiene solicitudes activas para entre dos y tres veces más GPUs de las que el instituto realmente posee.
- El sistema antiguo fracasó: Permitir que los equipos protegieran sus tareas para que no fueran pausadas condujo a la ocupación de hardware, inflación de prioridades y fricción constante.
- Cambio hacia un modelo de inversión: En lugar de dejar que los usuarios luchen por las máquinas, Ai2 ahora ofrece a los líderes un proceso presupuestario transparente para decidir de antemano cuánto tiempo de GPU merece cada proyecto.
- Uso de matemáticas de equidad establecidas: Ai2 combinó su herramienta de presupuestos con un programador jerárquico de reparto equitativo, utilizando una ventana deslizante de retrospectiva para rastrear y equilibrar el uso de hardware a lo largo del tiempo.
Términos explicados
- GPU — Un chip de computadora especializado diseñado para procesar muchos cálculos exactamente al mismo tiempo, lo que lo hace esencial para entrenar la inteligencia artificial. Ejemplo: Una licuadora de cocina de alta gama diseñada para triturar hielo y picar verduras a la vez, mientras que una CPU normal es como un cuchillo que corta una zanahoria a la vez.
- Programador — Un programa de computadora que decide qué tareas pueden usar el hardware y cuándo. Ejemplo: Un anfitrión de restaurante que decide qué familia en espera recibe la siguiente mesa disponible.
- Preempción — La capacidad de pausar una tarea de computadora en ejecución para que una tarea más importante pueda usar el hardware en su lugar. Ejemplo: Pausar la descarga de un videojuego en tu teléfono para que pueda entrar una llamada urgente.
Por qué importa
Gestionar los escasos recursos informáticos de manera eficiente es un desafío común para los grandes laboratorios de investigación. Al pasar de una lucha caótica por las prioridades a un proceso transparente de presupuesto y reparto equitativo, las organizaciones pueden alinear su uso de hardware con sus objetivos estratégicos reales.
Lo que aún no sabemos
La fuente señala que predecir la demanda futura es imposible porque los experimentos científicos novedosos no se pueden pronosticar con precisión. También menciona que el proceso de presupuestación sigue iterándose activamente.
Basado en información de Hugging Face Blog. Este es un texto explicativo independiente, escrito con palabras propias y ayuda de IA; Hugging Face Blog no lo ha revisado ni respaldado. Lee el original para ver todos los detalles.