Modelos de inteligência artificial mostram viés contra determinados sotaques falados
Pesquisadores descobriram que sistemas avançados de inteligência artificial atribuem notas mais baixas a falantes com determinados sotaques, mesmo quando as palavras ditas são idênticas. A evidência vem de um único estudo apresentado em uma conferência científica.
Resumo rápido: Pesquisadores descobriram que sistemas avançados de inteligência artificial atribuem notas mais baixas a falantes com determinados sotaques, mesmo quando as palavras ditas são idênticas. A evidência vem de um único estudo apresentado em uma conferência científica.
Quando você conversa com a inteligência artificial, o seu sotaque pode mudar a forma justa como a máquina o trata.
O que aconteceu, em palavras simples
Uma equipe de pesquisadores liderada pela Universidade de Washington investigou como modelos modernos de inteligência artificial avaliam a fala humana em entrevistas de emprego, apresentações e testes de inglês. A equipe testou vozes falando inglês com cinco sotaques diferentes usando tanto vozes geradas por computador quanto participantes humanos. Eles descobriram que os modelos consistentemente classificaram os sotaques americano e britânico como os mais altos, os sotaques indianos no meio, e os sotaques chinês e nigeriano como os mais baixos. Os pesquisadores apresentaram essas descobertas em uma conferência em Budapeste, na Hungria.
Pontos principais
- Testando múltiplos sotaques: A equipe testou sotaques americano, britânico, chinês, indiano e nigeriano em três cenários diferentes: contratação para empregos, apresentações e testes de proficiência em inglês.
- Uso de texto idêntico: Para testar de forma justa, os pesquisadores fizeram com que vozes geradas por computador levassem exatamente os mesmos trechos de texto com diferentes sotaques para os modelos de inteligência artificial.
- Boa transcrição, notas ruins: Embora os modelos de inteligência artificial tenham transcrito as palavras com precisão, eles ainda deram notas mais baixas a falantes chineses e nigerianos e alegaram que esses falantes murmuravam.
- Verificação humana: A equipe verificou seus resultados com cinquenta e dois participantes humanos que também leram respostas roteirizadas e responderam a perguntas.
Termos explicados
- Modelos de linguagem multimodais — Programas de computador avançados que conseguem entender e processar mais de um tipo de informação ao mesmo tempo, como texto e áudio falado. Exemplo: Um programa de computador que consegue ler uma história escrita e também ouvir alguém ler essa mesma história em voz alta.
- Modelos de IA proprietários — Sistemas de inteligência artificial construídos e de propriedade de empresas privadas específicas, nos quais o funcionamento interno e os dados de treinamento são mantidos em segredo. Exemplo: Um videogame novinho em folha feito por uma empresa privada que você pode jogar, mas não tem permissão para ver ou alterar o código de computador subjacente.
- Distância acústica — Uma medição de quão diferentes são as ondas sonoras e os padrões de pronúncia de um sotaque em relação a outro sotaque. Exemplo: Comparar o som de uma palavra dita com uma pronúncia muito diferente versus uma pronúncia padrão.
Análise crítica
O que é animador. O estudo aborda um problema muito real e crescente, à medida que ferramentas de inteligência artificial assumem papéis como triagem de candidatos a emprego e avaliação de apresentações escolares. Ao testar vozes geradas por computador e humanas em vários modelos populares, os pesquisadores demonstraram minuciosamente como vieses ocultos podem afetar sistemas de pontuação automatizados.
O que pede cautela:
- Variedade de sotaques limitada. O estudo analisou apenas cinco sotaques nacionais e não testou a ampla variedade de variações regionais dentro desses países. Isso significa que as descobertas não mostram como esses modelos tratam todas as formas possíveis de falar inglês.
- Modelos selecionados testados. Os pesquisadores focaram em um pequeno grupo de modelos específicos, incluindo três sistemas proprietários e um modelo de código aberto. Outros sistemas de inteligência artificial disponíveis hoje podem se comportar de maneira diferente.
- Ambiente de teste controlado. Muitos testes se basearam em vozes artificiais geradas por computador em vez de um grupo massivo e diverso de falantes humanos reais. Embora participantes humanos também tenham sido usados, testes de laboratório podem não capturar totalmente todas as nuances de conversas do mundo real.
Conclusão: Os sistemas atuais de inteligência artificial podem apresentar viés claro contra determinados sotaques, mesmo quando entendem as palavras perfeitamente.
O que ainda não sabemos
A fonte não explica como corrigir completamente os dados de treinamento para remover esses vieses, nem aborda como outros tipos de modelos se saem em situações de emergência médica até o momento.
Com base em reportagem de University of Washington. Este é um texto explicativo independente, escrito com palavras próprias e auxílio de IA; University of Washington não o revisou nem o endossou. Leia o original para ver todos os detalhes.