Especialistas dizem que explorar o Fable da Anthropic não é o motivo pelo qual o Kimi K3 ficou tão bom

O conselheiro de ciências da Casa Branca, Michael Kratsios, afirmou que a Moonshot, a empresa chinesa por trás do Kimi K3 — o maior modelo de linguagem de grande escala (LLM) de pesos abertos disponível —, construiu seu modelo copiando o LLM Fable, da Anthropic, enquanto usava chips que não foram liberados para exportação para a China.

“A destilação industrial secreta e em larga escala com o objetivo de roubar tecnologia proprietária dos EUA e minar a pesquisa americana é inaceitável”, escreveu Kratsios, em meio a discussões relatadas sobre a proibição de modelos chineses de pesos abertos que agitaram o setor de IA. A Moonshot não respondeu a perguntas sobre seu processo de treinamento, e Kratsios não compartilhou mais detalhes sobre as fontes de suas alegações.

O tuíte de Kratsios ecoou os comentários do secretário do Tesouro, Scott Bessent, de que “estamos encontrando marcas d'água de nossos grandes modelos de linguagem dos EUA em muitos dos modelos chineses, e isso é inaceitável”. Não está claro em que consistem essas marcas d'água, e o Departamento do Tesouro não respondeu a um pedido de esclarecimento.

No entanto, especialistas estão céticos de que a destilação — o processo de consultar um LLM para determinar seu funcionamento interno e copiar suas capacidades — seja responsável pelas capacidades avançadas que o Kimi K3 exibe.

“Eu não acho que você consiga um modelo tão forte e tão rapidamente logo após o Fable fazendo estritamente destilação”, disse ao TechCrunch Braden Hancock, pesquisador do Laude Institute e cofundador da Snorkel AI. “Francamente, nem há tempo, certo? O Fable está disponível publicamente apenas desde 1º de julho. Você não consegue destilar tantos dados, treinar um modelo e lançá-lo em duas semanas.”

“Eu tenho a opinião de que a destilação está se tornando cada vez menos impactante ao longo do tempo, à medida que os modelos chineses se aproximam da fronteira e o regime de treinamento muda para [aprendizado por reforço]”, disse Nathan Lambert, pesquisador de IA do Allen Institute for AI, em um podcast lançado ontem. “[S]e esse fosse o caso, todo mundo conseguiria facilmente alcançar um GLM ou um K3 usando seus dados para destilação. Mas nós não conseguimos, ou não veremos isso apenas com o ajuste fino supervisionado.”

Realizar a destilação exige que um laboratório consulte sistematicamente seu modelo-alvo para gerar dados que possam ser usados para o pós-treinamento. Às vezes, isso envolve explicitamente pedir ao modelo que articule sua cadeia de raciocínio para entender como ele resolve problemas. Outras vezes, os comandos (prompts) e as respostas de um modelo são usados para treinar um modelo novo em um processo chamado ajuste fino supervisionado (ou SFT).

É esse processo de ajuste fino que pode resultar em um modelo ostensivamente criado por terceiros afirmando que é o Claude. O ajuste fino é onde, na visão de Lambert, o “modelo aprende seus modos”.

Mas Lambert diz que os benefícios do SFT estão se tornando menos importantes à medida que os modelos se tornam mais complexos. Distilar capacidades semelhantes às do Fable exigiria provavelmente técnicas de aprendizado por reforço. Em muitos casos, isso significa ter um agente do modelo maior avaliando as respostas do modelo menor e fazendo ajustes com base nessa avaliação.

As técnicas mais avançadas também exigem infraestrutura mais significativa. Grandes execuções de aprendizado por reforço podem exigir dezenas de milhões de agentes. Usar a API de um laboratório de fronteira para fazer isso “seria insanamente caro e, potencialmente, seria um gargalo de tempo, porque esses modelos são bastante lentos e, para ser franco, podem nem mesmo proporcionar um ganho de desempenho.”

Parece provável que modelos de fronteira anteriores possam ter contribuído para o Kimi; a Anthropic acusou publicamente a Moonshot, a DeepSeek e a MiniMax de destilarem sistematicamente seus modelos no início deste ano. A Anthropic afirmou ter descoberto milhões de trocas entre seus modelos e usuários que identificou nessas empresas por meio de endereços IP e outros metadados. Essas consultas eram “distintas dos padrões de uso normais, refletindo a extração deliberada de capacidades em vez de uso legítimo.” A Anthropic não respondeu aos questionamentos do TechCrunch sobre a destilação do Fable.

No entanto, a destilação é vista como comum entre as empresas de IA, não apenas na China. Elon Musk testemunhou no início deste ano que sua empresa xAI destilou modelos da OpenAI para desenvolver o Grok, e que a prática era comum na indústria. A linha entre a destilação e o desenvolvimento de conjuntos de dados sintéticos, por exemplo, pode ser bastante tênue.

“[G]eralmente, os americanos estão subestimando a experiência técnica dessas equipes chinesas”, disse Hancock. “Um dos fundadores da Moonshot era estudante de doutorado da CMU. São pesquisadores e engenheiros legítimos fazendo um trabalho sólido. … Se os modelos americanos pararem totalmente, acho que o progresso da China desaceleraria, mas ainda continuaria. Eles não estão apenas pegando carona aqui.”

Também é difícil separar a destilação da segunda parte do comentário de Kratsios — de que a Moonshot havia obtido chips avançados da Nvidia, os Grace Blackwell 300s, e também acessado servidores equipados com GB300 na Tailândia. Esses chips são proibidos de exportação para a China, mas existe um mercado negro, de acordo com Sam Bresnick, pesquisador do Center for Security and Emerging Technology de Georgetown. Em maio, o fundador da Supermicro, uma fabricante americana de servidores, foi indiciado por contrabandear chips avançados para a China.

“Sou a favor de leis de 'conheça seu cliente' para centros de dados em todo o mundo”, disse Bresnick. “Se você está permitindo que uma empresa realize grandes treinamentos em seu hardware de última geração, precisa haver um mecanismo de relatórios sobre quem é essa empresa e o que ela está fazendo.”

O Departamento de Comércio do presidente Joe Biden propôs regras federais de "conheça seu cliente" para centros de dados em 2024, mas nenhum progresso adicional parece ter sido feito sob Donald Trump. No entanto, os exportadores que enviam chips avançados para o exterior devem garantir que eles sejam usados apenas para fins aprovados.