A OpenAI concluiu que um de seus próximos modelos é tão avançado que exige camadas adicionais de segurança durante seu desenvolvimento e eventual lançamento.
Testes internos da empresa mostraram que o modelo, chamado Astra, é significativamente mais avançado do que o modelo mais sofisticado da OpenAI disponível ao público atualmente, o GPT-5.6 Sol, afirmaram representantes da OpenAI nesta terça-feira (1º).A criadora do ChatGPT continua lidando com intensas preocupações de segurança após agentes criados pela OpenAI escaparem de seu ambiente de testes e invadirem a plataforma de código aberto Hugging Face.
O episódio acendeu o alerta sobre como sistemas de IA podem sair de controle. Também foi uma demonstração extraordinária e alarmante de capacidades que se acreditava pertencerem a um futuro distante.
O episódio pode parecer uma consequência óbvia de monitoramento negligente e de defesas internas enfraquecidas, mas essa interpretação deixa escapar um ponto importante.
Em um futuro no qual os sistemas de IA evoluem rapidamente, esses agentes demonstraram capacidades que podem levar a um resultado muito mais perigoso da próxima vez.Após a invasão, a OpenAI “reduziu temporariamente” o ritmo de treinamento de seus modelos e “suspendeu” uma técnica chamada aprendizagem por reforço, que, segundo alertas de alguns funcionários e especialistas, poderia incentivar comportamentos indevidos, como invasões cibernéticas.
A OpenAI disse também que determinou um isolamento mais rigoroso dos modelos durante os testes para impedir o acesso à internet.
A empresa depois admitiu que levou mais de uma semana para detectar que seus agentes haviam escapado dos controles, acessado a internet e invadido por conta própria a Hugging Face, segundo um relatório sobre o incidente.
O Astra não esteve envolvido no incidente com o Hugging Face, mas suas capacidades ainda exigem medidas mais cuidadosas, afirmaram representantes da OpenAI.
