Por que os benchmarks de inteligência artificial estão quebrados
Um cientista da computação argumenta que os benchmarks de inteligência artificial estão quebrados porque as empresas podem treinar modelos facilmente para passar em testes específicos. No entanto, o progresso passado ocorreu porque os rankings dos modelos permaneceram surpreendentemente estáveis, apesar dos métodos de teste falhos.
Resumo rápido: Um cientista da computação argumenta que os benchmarks de inteligência artificial estão quebrados porque as empresas podem treinar modelos facilmente para passar em testes específicos. No entanto, o progresso passado ocorreu porque os rankings dos modelos permaneceram surpreendentemente estáveis, apesar dos métodos de teste falhos.
Confiamos em testes padronizados para medir o quão inteligente é a inteligência artificial, mas as ferramentas que usamos para avaliar esses sistemas podem estar fundamentalmente quebradas.
O que aconteceu, em palavras simples
Moritz Hardt, cientista da computação e diretor do Instituto Max Planck de Sistemas Inteligentes, explica em seu livro que os benchmarks de aprendizado de máquina apresentam falhas há décadas. Tradicionalmente, os desenvolvedores deveriam isolar um conjunto de dados de teste para ranquear os modelos de forma justa. Em vez disso, a área ignorou esse aviso e colocou conjuntos de teste na internet, onde os desenvolvedores podiam usá-los durante o treinamento. Embora os números de pontuação absoluta possam mudar drasticamente com pequenos ajustes no conjunto de teste, os rankings relativos entre os modelos permaneceram estáveis o suficiente para impulsionar o progresso por pura sorte. Hoje, com os grandes modelos de linguagem, essa confiabilidade acidental desapareceu, pois os criadores podem preparar estrategicamente seus modelos para testes conhecidos.
Pontos principais
- O método de retenção ignorado: Os livros didáticos padrão aconselham isolar conjuntos de teste para avaliar modelos de forma justa, mas a área de aprendizado de máquina ignorou amplamente essa regra e publicou dados de teste online.
- Números absolutos carecem de significado: Mudar um conjunto de teste apenas ligeiramente pode fazer com que os números de precisão oscilam drasticamente, o que significa que uma pontuação absoluta como 90 por cento não reflete com precisão a habilidade real.
- Os rankings permaneceram estáveis: Historicamente, embora as pontuações absolutas fossem instáveis, as comparações relativas entre os modelos permaneceram estáveis, o que salvou acidentalmente o aprendizado de máquina de uma crise de replicação.
- Estudar para a prova: Os criadores modernos de grandes modelos de linguagem podem construir misturas de dados especificamente para promover o desempenho em benchmarks, permitindo que um modelo pior vença ao se preparar para o teste.
Termos explicados
- Benchmark — Um teste padronizado usado para medir e comparar as capacidades de diferentes sistemas ou modelos de computadores. Exemplo: Um teste de soletração aplicado a todos os alunos de um distrito escolar para ver qual classe soletra melhor.
- Conjunto de treinamento — A coleção de dados que os desenvolvedores inserem em um modelo de aprendizado de máquina para ajudá-lo a aprender e melhorar. Exemplo: Uma pilha de cartões de estudo que um estudante usa para estudar antes de fazer um exame real.
- Conjunto de teste — Uma coleção separada de dados mantida especificamente para avaliar o desempenho de um modelo após o treinamento. Exemplo: As perguntas do exame final que o professor mantém em segredo até o dia da prova.
- Grande modelo de linguagem — Um sistema de inteligência artificial treinado com vastas quantidades de texto para entender e gerar linguagem semelhante à humana. Exemplo: Um programa de computador avançado que pode escrever redações, responder a perguntas e resumir documentos longos.
Análise crítica
O que é animador. O trabalho oferece uma crítica lúcida e refrescante de um cientista da computação consagrado, apontando falhas estruturais na forma como uma área inteira mede seu próprio progresso, em vez de simplesmente criar hype sobre as capacidades mais recentes.
O que pede cautela:
- Baseado em opinião de especialista. Os insights vêm de uma entrevista e de um livro escrito por um único especialista, em vez de um estudo científico amplo e revisado por pares com dados experimentais.
- Falta de teoria histórica. A fonte observa que não há uma teoria abrangente que explique por que os rankings relativos funcionaram tão bem no passado, o que significa que esse sucesso passado é descrito principalmente como sorte.
- Soluções futuras incertas. Embora a entrevista destaque uma crise profunda nos testes modernos de inteligência artificial, ela termina antes de oferecer uma solução totalmente testada para resolver o problema.
Conclusão: Os benchmarks de inteligência artificial fornecem pontuações absolutas enganosas, e os modelos modernos podem estudar facilmente para os testes a fim de manipular seus rankings.
O que ainda não sabemos
O texto de fonte é interrompido no meio de uma frase enquanto discute uma história histórica sobre um corredor olímpico, deixando sem menção as soluções propostas para a crise de benchmarking.
Com base em reportagem de Quanta Magazine. Este é um texto explicativo independente, escrito com palavras próprias e auxílio de IA; Quanta Magazine não o revisou nem o endossou. Leia o original para ver todos os detalhes.