Base Labs lança uma parceria de segurança de IA de pesos abertos com Hugging Face e Goodfire

Baseten lançou na quarta-feira um novo padrão de infraestrutura de segurança junto com seu braço de pesquisa Base Labs, em parceria com a Hugging Face e a Goodfire AI para construir infraestrutura de avaliação e monitoramento de segurança para modelos de pesos abertos.

O anúncio chega em meio a debates sobre a segurança de modelos de pesos abertos — que podem se tornar perigosos ao terem suas salvaguardas removidas por uma técnica em ascensão conhecida como abliteração. A escala do problema é massiva: a Hugging Face, que hospeda modelos de IA de código aberto, atualmente lista mais de 6.000 modelos abliterados. 

O Base Labs, o grupo de pesquisa que a Baseten criou no início deste ano, desenvolverá e publicará métodos para treinar e monitorar modelos abertos. A empresa está estruturando seu trabalho futuro como um “padrão” para modelos abertos que seja transparente e integrado à forma como os modelos são treinados e implantados, em vez de adicionado posteriormente. 

“Acreditamos que a abertura é uma vantagem para a segurança da IA”, afirmou a empresa no X. “A abertura oferece maior visibilidade sobre o comportamento dos modelos e, o mais importante, maiores meios de transformar a pesquisa de segurança em controles acionáveis e transparentes do que os códigos fechados.”

As empresas não divulgaram como a parceria funcionará tecnicamente, embora a Goodfire tenha definido o objetivo em uma resposta à publicação da Baseten: “A segurança deve ser integrada aos modelos abertos e fornecida por aqueles que os servem.” A Goodfire, que se especializa em abrir a “caixa-preta” da IA para explicar como os modelos tomam decisões, é a candidata mais provável para a parte de “integrada”.

A Baseten, uma fornecedora de inferência de IA, captou US$ 1,5 bilhão em uma rodada Série F em junho, elevando seu valuation para US$ 13 bilhões. A empresa parceira Goodfire AI está igualmente bem capitalizada, tendo captado US$ 150 milhões em uma Série B liderada pela B Capital no início deste ano para avançar em sua plataforma de interpretabilidade de modelos.  

Olhando para o futuro, a Baseten está fazendo um chamado aberto para o ecossistema de desenvolvedores em geral para contribuírem com o framework. “Juntos, estamos construindo um ecossistema de modelos abertos que sejam seguros e acessíveis a todos”, observou a empresa.