A Anthropic está trabalhando em um sistema para provar a identidade de modelos de IA

A Anthropic está trabalhando em um sistema de código aberto para verificar qual modelo de IA produziu uma determinada saída, de acordo com uma postagem de blog publicada na terça-feira. O sistema, chamado FlashProve, foi criado para fornecer o que os pesquisadores chamam de “inferência provável” — uma prova criptográfica, essencialmente uma garantia matemática, de que uma determinada saída veio de um modelo específico. Ele serve para permitir que os usuários confirme que a resposta que receberam realmente veio do modelo que pensam estar usando.

Semelhante às assinaturas de e-mail criptográficas que permitem aos destinatários confirmar que uma mensagem realmente veio do remetente alegado, o FlashProve seria robusto contra impostores que tentam disfarçar um modelo como outro, mesmo quando o impostor é o laboratório que construiu e opera o modelo. Em particular, os pesquisadores observam que o sistema pode ser usado para evitar que uma empresa de IA troque secretamente por um modelo mais barato para cortar custos, ou por um modelo mais caro para inflar seus resultados de desempenho.

O FlashProve também pode ser usado para verificar alegações de terceiros de que uma tarefa específica foi realizada por um modelo avançado. “Um desenvolvedor pode alegar que sua biblioteca de software foi escaneada em busca de vulnerabilidades por um modelo de cibersegurança de ponta, ou uma empresa pode alegar que seu plano de negócios recebeu sinal verde de um modelo apropriado”, escrevem os pesquisadores. “Como um usuário pode verificar essas alegações?”

Para funcionar, o sistema exige que os laboratórios de IA publiquem uma “impressão digital” de cada modelo lançado que possa ser posteriormente correspondida a saídas específicas e verificada criptograficamente. Crucialmente, as impressões digitais não revelam os pesos de um modelo, os números internos que definem como ele se comporta e que os criadores de modelos fechados, como Anthropic e OpenAI, mantêm em sigilo. Isso significa que os laboratórios podem publicar as impressões digitais sem abrir mão de seu ativo mais valioso, permitindo que o sistema funcione também com modelos comerciais. O sistema também foi projetado para ser leve, para que a verificação possa ser realizada em um dispositivo local.

Como parte do anúncio, os pesquisadores lançaram uma especificação técnica detalhada e código funcional para vários elementos do sistema, que está publicamente disponível sob uma licença de código aberto no GitHub. A pesquisa sobre o sistema está em andamento e não há planos para implantá-lo na Anthropic ou em qualquer outro laboratório.

“Esta postagem de pesquisa tem o objetivo de compartilhar o progresso intermediário, e não uma agenda de pesquisa concluída”, explicam os pesquisadores na postagem de anúncio. “Estamos compartilhando isso explicitamente com o objetivo de que outros olhem para o que fizemos, aproveitem e melhorem.”