Avaliadores de IA embarcados não serão uma solução fácil, diz o chefe de políticas do Hugging Face

Laboratórios de IA apostaram suas reputações em avaliações comparativas (benchmarking) — o sistema supostamente neutro e preciso de avaliações projetado para medir se um produto de IA é melhor do que outro.

No entanto, os métodos por trás dessas avaliações são complicados e ainda estão em amadurecimento, disse Irene Solaiman, diretora de políticas da Hugging Face, durante um painel no TechCrunch Disrupt na semana passada. Os testes precisam se consolidar em uma ciência mais consistente se a indústria quiser confiar neles no futuro.

Com isso em mente, podemos confiar nos testes atuais que estão sendo lançados?

“Confiança é um termo muito pesado”, disse Solaiman. “Em termos de podermos confiar nos resultados, uma grande parte [disso] é: você consegue reproduzir os resultados de uma avaliação? Você tem o nível de acesso de que precisa ao próprio modelo — é aí que os pesos abertos entram de maneira muito forte”, acrescentou ela.

A reprodutibilidade em avaliações de modelos tem permanecido há muito tempo como um dos aspectos mais complexos do benchmarking — e continua sendo um tópico de debate significativo na indústria.

Além da validade de um teste individual, há também a questão adicional de como esse teste se compara a outras avaliações.

“Eles são uma ciência em evolução — onde ainda não sabemos como compará-los de forma significativa uns com os outros”, disse Solaiman.

“Eles começam a se tornar ineficazes relativamente rápido, e não temos um ecossistema tão próspero quanto precisamos”, acrescentou ela. “Há essa ânsia por um ecossistema de avaliadores embutidos agora, mas as qualificações que determinam quem é um avaliador eficaz para quais tarefas precisam de muito mais padronização.”

A ideia de avaliadores embutidos — nos quais observadores terceirizados supostamente “neutros” são colocados dentro de organizações de IA — tem se popularizado nos últimos meses, à medida que os laboratórios de IA lidam com uma série de incidentes de segurança que geraram preocupações sobre os danos potenciais de sua tecnologia. A Hugging Face foi alvo notório de um desses incidentes.

Em vez de regulamentação governamental ativa para identificar e mitigar preocupações de segurança de modelos, os laboratórios têm pressionado pela solução de terceiros. No entanto, persistem dúvidas sobre quão neutros ou eficazes esses avaliadores realmente serão. A decisão da Anthropic de contratar a Accenture como sua primeira avaliadora gerou uma boa quantidade de reações negativas, com alguns críticos zombando da ideia de que a empresa de consultoria estava qualificada para realizar a tarefa em questão.

As avaliações estão agora mudando de um mero teste do próprio modelo para um teste de todo o ecossistema ao redor do modelo — incluindo o arcabouço (harness) e o agente. O arcabouço — ou a ferramenta que o usuário está usando para acessar o modelo —, especificamente, tem muito a ver com o desempenho de um modelo, e um modelo mais fraco com um arcabouço melhor poderia facilmente superar um modelo de ponta, compartilhou Solaiman.

“Avaliações baseadas em agentes são muito difíceis e muito caras”, disse Solaiman. “Nós apenas temos mais avaliações para modelos. … Não temos tantas avaliações para arcabouços, e estamos desenvolvendo melhores avaliações para o agente holístico — porque é disso que muitas pessoas estão extraindo valor”, acrescentou ela.

Em outras palavras: o espaço de avaliação é um verdadeiro vale-tudo no momento, e se o benchmarking continuar a ser visto como uma ferramenta útil para os líderes da indústria, uma abordagem mais uniforme e abrangente para o setor — onde todos estejam na mesma página — pode ser necessária.