BotPsy traz uso de ferramentas com agentes para modelos pequenos de 0,8B

Nível de evidência: Simulação ou modelo

Por que isso importa: Executar agentes de IA capazes geralmente exige infraestrutura massiva em nuvem, impedindo a execução local eficiente e privada em dispositivos de ponta para desenvolvedores e usuários.

Como o BotPsy processa instruções e chamadas de ferramentas

O BotPsy é construído sobre o Qwen3.5-0.8B com 0,8 bilhão de parâmetros e foi projetado para implantação em dispositivos. O modelo funciona como um assistente pessoal utilizando ferramentas para tarefas em busca na web, pesquisa, viagens, estilo de vida, comércio, finanças, negócios, operações com clientes, controle de dispositivos e veículos, arquivos, documentos, calendário, e-mail e mensagens. O modelo passa por treinamento posterior em quatro estágios sequenciais: ajuste fino supervisionado, destilação on-policy de múltiplos professores e duas rodadas de aprendizado por reforço, com o primeiro estágio de aprendizado por reforço focando em chamada de ferramentas, seguimento de instruções e perguntas de múltipla escolha de ciência, tecnologia, engenharia e matemática usando DAPO.

Como o BotPsy se compara a modelos maiores

O BotPsy dobra aproximadamente a capacidade de agente de seu modelo base Qwen3.5-0.8B-Think em principais benchmarks, elevando o Berkeley Function Calling Leaderboard versão 4 de 23,4 para 44,0, o Agentic Tool-Use Evaluation Benchmark de 30,1 para 58,7 e o tau-bench de 23,2 para 51,5. O BotPsy supera o Qwen3.5-2B-Think, um modelo 2,5 vezes maior, em cinco de seis benchmarks, incluindo Berkeley Function Calling Leaderboard versão 4, Agentic Tool-Use Evaluation Benchmark, tau-bench, ToolSandbox e BrowseComp-Plus. Em perguntas do Graduate-Level Google-Proof Q&A Diamond e Massive Multitask Language Understanding Pro respondidas corretamente por todos os cinco modelos, o BotPsy usa 3x e 2,7x menos tokens de raciocínio do que seu modelo base.

Métricas de segurança e confiabilidade sob testes

Em testes de invasão automatizados em seis categorias de dano, o BotPsy produz respostas inseguras 21% das vezes, comparado a 36% para seu modelo base. Sob ataques de injeção de prompt, a taxa insegura do BotPsy cai de 46% em seu modelo base para 31%. A taxa do BotPsy de ficar preso em loops de raciocínio repetitivos cai de 22,9% para 1,4% em todas as tentativas do Instruction Following Benchmark, enquanto execuções que atingem o limite de 32k tokens caem de 28,3% para 0,2%.

Uma análise do desempenho e dos limites restantes do BotPsy

Um modelo leve de 0,8B alcança desempenho de uso de ferramentas que rivaliza ou supera modelos com mais do que o dobro de seu tamanho porque o BotPsy supera o Qwen3.5-2B-Think em cinco de seis benchmarks de uso de ferramentas, apesar de ter apenas 0,38x de sua contagem de parâmetros. A avaliação contrasta o desempenho pós-treinado do BotPsy diretamente com seu modelo fundamental Qwen3.5-0.8B e modelos maiores como o Qwen3.5-2B-Think na classe de peso de 1,2 bilhão de parâmetros ou inferior em tarefas de uso de ferramentas e raciocínio. As pontuações do Berkeley Function Calling Leaderboard versão 4 sobem de 23,4 para 44,0, o Agentic Tool-Use Evaluation Benchmark sobe de 30,1 para 58,7 e o tau-bench sobe de 23,2 para 51,5, aumentos de pontuação numérica que demonstram uma duplicação aproximada da capacidade de agente sobre o modelo base. O modelo existe como um protótipo de pesos abertos pronto para lançamento em formatos Hugging Face safetensors e GGUF em três precisões, mas os requisitos de memória de acesso aleatório de hardware, memória de acesso aleatório de vídeo e consumo de bateria permanecem não especificados, e os limites de segurança o restringen do uso de alto risco.

O BotPsy alcança maior eficiência e pontuações de uso de ferramentas do que modelos maiores ao empregar aprendizado por reforço em múltiplos estágios e destilação, mas os requisitos absolutos de computação de hardware como memória de acesso aleatório, memória de acesso aleatório de vídeo e consumo de bateria para executá-lo no dispositivo não são especificados na fonte. Embora o seguimento de instruções e a chamada de ferramentas melhorem significativamente — como o Instruction Following Evaluation subindo de 59,7 para 90,8 —, a busca em aberto continua sendo um ponto mais fraco com baixas pontuações absolutas, e idiomas de recursos inferiores como hindi e russo são fraquezas notadas.

Disponibilidade e formato de implantação

O BotPsy será lançado com pesos abertos sob a licença Apache 2.0. O modelo está disponível em três precisões: bf16, Q8 e Q4, empacotado como arquivos Hugging Face safetensors e GGUF.

O que as pontuações de benchmark não mostram

• Pode parecer que as fortes pontuações de benchmark do BotPsy significam que ele é totalmente seguro para implantar em tarefas pessoais automatizadas envolvendo dinheiro ou dados sensíveis. Na verdade: O estudo observa que o BotPsy ainda comete erros e explicitamente não se destina a decisões automatizadas críticas para a segurança ou de alto risco, ou aplicativos envolvendo dinheiro, informações pessoais e saúde.

Veredito: O BotPsy demonstra que um modelo de 0,8B parâmetros pode igualar ou superar modelos maiores em benchmarks de uso de ferramentas e agentes por meio de aprendizado por reforço direcionado em múltiplos estágios. No entanto, fraquezas de busca em aberto, limites de idiomas de recursos inferiores e restrições contra implantação de alto risco permanecem.

Com base em reportagem de Hugging Face Blog. Este é um texto explicativo independente, escrito com palavras próprias e auxílio de IA; Hugging Face Blog não o revisou nem o endossou. Leia o original para ver todos os detalhes.