As ondas cerebrais são o próximo avanço para a IA física?

A fronteira da IA física é um jogo de Jenga em um armazém em San Leandro, na Califórnia.

Esse armazém é ocupado pela Encord, uma empresa que cria ferramentas de dados usadas para treinar modelos de IA. Andrew Ceja é um piloto — o termo que a empresa usa para seus treinadores de robôs — e ele está puxando cuidadosamente blocos de madeira de uma torre instável enquanto usa um headset com uma câmera que rastreia o que ele vê. Isso por si só é bastante comum para coletar dados de treinamento de robôs, mas este headset inclui sensores que medem suas ondas cerebrais enquanto ele desmonta cuidadosamente a torre de blocos.

A Encord é uma entre um número pequeno, mas crescente, de startups que apostam que o próximo obstáculo real para a robótica humanóide e de armazéns não será a arquitetura do modelo, mas sim a escassez absoluta de dados de treinamento físico do mundo real. Em vez de apenas ajudar empresas de robótica a gerenciar os dados que elas possuem, a Encord está construindo um negócio em torno da fabricação dos dados que elas não possuem.

O headset de ondas cerebrais que Ceja está usando foi construído pela Zander Labs, uma startup alemã de neurociência que aposta que medir a atividade cerebral — para deduzir estados mentais como erro, intenção e surpresa — pode criar um conjunto de dados mais útil para treinar modelos. O trabalho da Encord com Zander é atualmente um teste piloto; a Encord diz que o objetivo é criar um conjunto de dados inicial marcado com ondas cerebrais, executá-lo em modelos de robótica de clientes e avaliar se ele realmente melhora o desempenho antes de decidir escalá-lo.

Lucas Gehrke, um neurocientista da Zander que supervisiona o trabalho, diz que a quantidade de atividade cerebral usada em qualquer ponto durante uma determinada tarefa oferece pistas para os criadores de modelos que tentam descobrir quando precisam implantar seus modelos de maior esforço.

Esta é a fronteira mais avançada (o “bleeding edge”) do esforço para resolver o gargalo de dados de robótica, de acordo com Vineeth Velmurugan, chefe de aprendizado de robôs da Encord. Um veterano do laboratório de robôs da OpenAI e da Berkshire Grey, a firma de automação de armazéns, Velmurugan juntou-se à Encord para montar a equipe interna de criação de dados da empresa.

A Encord foi fundada para ajudar empresas que constroem aplicações de visão computacional a anotar dados e avaliar modelos. À medida que seus clientes — Velmurugan diz que eles trabalham com muitas empresas líderes em robótica, mas que ele não está autorizado a nomeá-las — começaram a aplicar aprendizado de ponta a ponta a tarefas de manipulação robótica, os executivos perceberam que teriam que produzir dados de treinamento por conta própria, em vez de simplesmente gerenciá-los. “Os dados simplesmente não existem”, disse Velmurugan.

A aposta de que a IA generativa pode fazer pelos robôs o que fez pelos chatbots continua esbarrando nessa mesma parede. Empresas de carros autônomos coletam dados do mundo físico por conta própria, mas isso é difícil de escalar. O treinamento a partir de vídeos pode funcionar, mas carece da fidelidade dos dados do mundo real. Velmurugan diz que será necessário um conjunto de dados com cerca de cinco vezes o tamanho do corpus de vídeo do YouTube para conseguir avançar — uma escala que ajuda a explicar por que a própria geração de dados se tornou um negócio e não apenas um problema de pesquisa.

Atenda às suas necessidades de dados egocêntricos

Empresas que criam cérebros de robôs estão agora recorrendo a duas fontes principais: vídeos “egocêntricos” coletados por trabalhadores usando câmeras, frequentemente complementados com ângulos de câmera adicionais e outras métricas, e dados de robôs operados remotamente. A Encord faz ambos, extraindo dados egocêntricos de várias fábricas ao redor do globo e usando sua unidade em San Leandro para experimentar novas modalidades, como ondas cerebrais, ou coletar conjuntos de dados em torno de habilidades específicas para o ajuste fino.

Quando o TechCrunch fez a visita, os pilotos estavam usando plataformas de líder-seguidor — braços robóticos emparelhados, um controlado diretamente por um operador humano e outro que imita seus movimentos — para criar dados sobre tarefas como despejar café de uma chaleira em xícaras (com bastante líquido balançando) e empilhar fichas de pôquer. “Todas as empresas humanóides nos pediram essas peças”, diz Velmurugan.

Prateleiras de armazenamento guardavam caixas de flores falsas em vasos, livros, vegetais de plástico, bandejas de areia para gatos e pás, sacos e feixes de fios, a matéria-prima habitual para treinar manipuladores para tarefas domésticas.

Em uma dessas estações, outra piloto, Sofia Infante, manobra braços robóticos para conectar e desconectar cabos ethernet na parte traseira de um servidor — o tipo de trabalho que os operadores de centros de dados adorariam ver automatizado, se ao menos os robôs pudessem manipulá-los com a precisão necessária. Dando uma volta atrás dos controles, pude ver por que isso ainda está fora de alcance: as pinças são muito menos destros que os dedos humanos e carecem dos graus de liberdade que damos como garantidos em nossos braços.

Outra nova modalidade de dados que a Encord está desenvolvendo usa um conjunto de sensores presos ao antebraço para detectar sinais elétricos nos músculos. Vídeos tirados de mãos humanas manipulando objetos normalmente não capturam a mão inteira, mas Velmurugan espera construir uma representação 3D de onde a mão está a qualquer momento com base nos sensores do braço, criando uma compreensão mais robusta para os modelos.

Os conjuntos de dados da Encord são anotados com descrições físicas do que cada vídeo contém — “mão direita aperta o parafuso” — para ajudar os modelos baseados em LLM a entender o que está acontecendo. Velmurugan estima que esse tipo de anotação densa vale 100 vezes mais do que “dados egocêntricos lixo” para treinar tarefas específicas, e custa apenas 20 vezes mais para produzir, o que é uma boa troca, no papel.

Mas “20 vezes mais” ainda é dinheiro de verdade, e esse é o problema: extrair texto da internet, da maneira como os criadores de LLM construíram seus modelos puxando dados do Stack Overflow e do resto da web, custou quase nada aos laboratórios de fronteira. Gerar dados de treinamento físico não custa o mesmo, e esse é o limite da comparação entre IA física e LLM. Esse tipo de dado precisa ser fabricado, não apenas coletado, e isso altera a economia de construir esses modelos.

Velmurugan diz que o progresso está sendo feito — com a visibilidade da Encord sobre os programas em toda a indústria, ele é capaz de ver startups e laboratórios de fronteira descobrirem o que funciona e o que não funciona para melhorar os modelos de IA física. Esse ponto de vista — sentado entre várias empresas de robótica ao mesmo tempo — também faz parte do argumento de vendas da Encord. Ela consegue identificar quais técnicas de dados estão ganhando tração em todo o setor antes que qualquer cliente individual consiga.

Isso manterá a dúzia de pilotos na instalação da Encord ocupados. Tanto Infante quanto Ceja fazem parte de uma força de trabalho em expansão que desenvolve os blocos de construção para redes neurais; eles trabalharam anteriormente na Scale, outra empresa de anotação de dados de IA, antes de se juntarem à Encord.

Ceja havia trabalhado em uma empresa de gerenciamento de resíduos onde seu interesse por tecnologia o levou a ficar encarregado de manter um classificador de lixo robótico em bom estado de funcionamento. Agora, enquanto a torre de Jenga desmorona, ele diz que gosta do desafio de resolver tarefas de treinamento para robôs — “É algo novo todos os dias!”