PrismML traz seus pequenos LLMs para óculos inteligentes alimentados pela Qualcomm

O laboratório de IA PrismML — fundado por pesquisadores da Caltech e assessorado por Ion Stoica, da UC Berkeley — criou uma versão de seus modelos de linguagem compactos para óculos inteligentes que rodam em chips Snapdragon da Qualcomm.

Na quarta-feira, na Snapdragon Summit da Qualcomm, a fabricante de chips apresentou o LLM Bonsai de 1 bit da PrismML, que pode ser executado localmente em óculos inteligentes de IA construídos sobre a plataforma Snapdragon AR1 Gen 1.

Como o TechCrunch relatou anteriormente, o grande diferencial da PrismML é que ela reduz modelos maiores substancialmente (neste caso, em 4x), mantendo quase todo o seu desempenho em benchmarks padrão. A versão para óculos inteligentes é um modelo de 2 bilhões de parâmetros ajustado para visão e linguagem, para que quem os veste possa perguntar o que está olhando em tempo real.

O objetivo maior da Prism é uma IA de pesos abertos que rode em dispositivos e faça um uso melhor do poder de computação que eles já possuem. A startup apresenta isso como uma alternativa a depender das promessas de privacidade de laboratórios de IA proprietários e sua necessidade insaciável de mais poder computacional.

Lançar um modelo para o chip da Qualcomm é um passo em direção a essa visão. Mas nenhum óculos inteligente rodando PrismML foi anunciado ainda.