Ai2 atualiza seu escalonador de hardware de IA para compartilhar GPUs de forma justa
O Ai2 mudou a forma como distribui o tempo escasso de GPU entre pesquisadores ao introduzir orçamentos e escalonamento por divisão justa. Essa atualização impede que equipes acumulem hardware e alinha o uso de hardware aos objetivos estratégicos.
Resumo rápido: O Ai2 mudou a forma como distribui o tempo escasso de GPU entre pesquisadores ao introduzir orçamentos e escalonamento por divisão justa. Essa atualização impede que equipes acumulem hardware e alinha o uso de hardware aos objetivos estratégicos.
Quando centenas de pesquisadores perseguem um suprimento limitado de chips de computador potentes, a justiça geralmente perde para truques espertos e acumulação. A equipe de infraestrutura de IA do Ai2 enfrentou exatamente essa disputa e decidiu reescrever as regras de como seu hardware pesado é compartilhado.
O que aconteceu, em palavras simples
A equipe de infraestrutura de IA do Ai2 gerencia milhares de unidades de processamento gráfico NVIDIA avançadas, ou GPUs, que são chips de computador especializados projetados para lidar com cálculos massivos ao mesmo tempo. Esses chips atendem a cerca de 150 pesquisadores internos que trabalham em grandes modelos de linguagem, modelos de visão e linguagem, simulações de robótica e agentes científicos. Como a demanda por esses chips é de duas a três vezes maior que a oferta, o Ai2 usava anteriormente um escalonador baseado em prioridade que permitia às equipes rotular suas tarefas como de alta prioridade e impedir que outros usuários as interrompessem. Esse sistema mais antigo causou problemas como acumulação de hardware, prioridades inflacionadas em que cada tarefa era marcada como de alta prioridade e tempo perdido para os engenheiros. Para corrigir isso, o Ai2 substituiu o antigo sistema por uma nova configuração com orçamentos de tempo de GPU, alocação hierárquica de divisão justa e um contrato de divisão de tempo. Esse novo método permite que os gerentes distribuam fatias de tempo de GPU com base na estratégia do projeto, em vez de deixar que usuários individuais lutem por recursos na hora.
Pontos principais
- A demanda supera em muito a oferta: O Ai2 tem solicitações ativas para duas a três vezes mais GPUs do que o instituto realmente possui.
- O antigo sistema falhou: Permitir que as equipes protegessem suas tarefas de serem pausadas levou à ocupação de hardware, inflação de prioridades e atrito constante.
- Mudança para um modelo de investimento: Em vez de deixar os usuários brigarem pelas máquinas, o Ai2 agora dá aos líderes um processo de orçamento transparente para decidir quanto tempo de GPU cada projeto merece com antecedência.
- Uso de matemática de justiça estabelecida: O Ai2 associou sua ferramenta de orçamento a um escalonador hierárquico de divisão justa, usando uma janela de análise retrospectiva deslizante para rastrear e equilibrar o uso de hardware ao longo do tempo.
Termos explicados
- GPU — Um chip de computador especializado projetado para processar muitos cálculos exatamente ao mesmo tempo, tornando-o essencial para o treinamento de inteligência artificial. Exemplo: Um liquidificador de cozinha de alta plano projetado para triturar gelo e picar vegetais de uma só vez, enquanto uma CPU comum é como uma faca que corta uma cenoura de cada vez.
- Escalonador — Um programa de computador que decide quais tarefas podem usar o hardware e quando. Exemplo: Um recepcionista de restaurante que decide qual família na fila recebe a próxima mesa disponível.
- Preempção — A capacidade de pausar uma tarefa de computador em execução para que uma tarefa mais importante possa usar o hardware em seu lugar. Exemplo: Pausar o download de um videoclipe no seu telefone para que uma ligação urgente possa ser atendida.
Por que isso importa
Gerenciar recursos de computação escassos com eficiência é um desafio comum para grandes laboratórios de pesquisa. Ao passar de uma disputa caótica por prioridade para um processo transparente de orçamento e divisão justa, as organizações podem alinhador o uso de hardware com seus objetivos estratégicos reais.
O que ainda não sabemos
A fonte observa que prever a demanda no futuro é impossível porque experimentos científicos inovadores não podem ser previstos com precisão. Também menciona que o processo de orçamento ainda está em constante evolução.
Com base em reportagem de Hugging Face Blog. Este é um texto explicativo independente, escrito com palavras próprias e auxílio de IA; Hugging Face Blog não o revisou nem o endossou. Leia o original para ver todos os detalhes.