Enquanto o conteúdo de IA inunda a internet, a Pangram capta 9 milhões de dólares para detectá-lo

A startup de detecção de IA sediada em Nova York, Pangram, está em uma missão para combater a infestação de porcaria de IA que se espalha pela internet, e acaba de arrecadar US$ 9 milhões apostando que a demanda por ferramentas que distinguem conteúdo gerado por humanos de texto gerado por IA só vai crescer. 

A rodada de investimentos da Pangram — liderada pela Menlo Ventures, com participação de Haystack, ScOp, Script Capital e Cadenza — coincide com o lançamento de seu modelo de detecção de texto de IA de próxima geração, o Pangram 4, e de um modelo de detecção de imagens de IA, o Pangram Image. 

A Pangram afirma que o novo modelo de detecção de texto tem mais de 99% de precisão ao encontrar escritas assistidas por IA e conteúdos mistos de humanos e IA, além de conseguir detectar com mais facilidade programas de humanização de IA. O detector de imagens de IA está disponível apenas por meio de uma prévia de pesquisa por enquanto; a Pangram planeja lançá-lo de forma mais ampla nas próximas semanas.

Os graduados em IA e aprendizado de máquina de Stanford, Max Spero e Bradley Emi, lançaram a Pangram há cerca de dois anos, depois que o lançamento do ChatGPT abriu as comportas para uma internet cheia de bots, conteúdos caça-cliques de SEO gerados por IA e o que Spero chama de "campanhas de desinformação russas impulsionadas por LLMs e campanhas influenciadas pelos Emirados Árabes Unidos no Twitter.”

“Acho que é simplesmente incrivelmente valioso saber se o que você está olhando é algo gerado por IA ou não”, disse Spero ao TechCrunch. “Especialmente textos que você está lendo, porque isso muda a forma como as pessoas abordam o texto. Isso é algo com que vou ter que me preocupar em relação a alucinações e abordar com ceticismo, ou é algo em que confio que foi bem pesquisado por um jornalista de verdade?”

O sistema de detecção de IA da Pangram é essencialmente um grande modelo de aprendizado de máquina que foi treinado com dezenas de milhões de documentos humanos conhecidos. A startup então criou um “espelho sintético” para cada documento, replicando o tópico, o comprimento e o tom de voz, mas escrito por um LLM de ponta. 

“Nosso modelo está aprendendo as diferenças estilísticas e as escolhas que a IA faz consistentemente e é capaz de usar isso para aprender o que torna algo gerado por IA com alta confiança”, disse Spero, acrescentando que o detector de IA não depende de metadados de copiar e colar ou marcas d'água ocultas. 

Para a Pangram, a detecção de IA não se resume apenas a saber se um texto foi ou não inteiramente escrito por IA. Trata-se também de distinguir entre os níveis de assistência de IA — como no caso de alguém que escreve algo por conta própria, mas depois pede para a IA editar ou limparem o texto. Spero acredita que a assistência de IA pode ser aceitável, desde que o escritor divulgue o uso de IA. 

O surgimento da Pangram ocorre em um momento em que o uso de IA está se tornando mais comum. Em alguns casos, como o do político canadense que leu em voz alta um comando de IA durante um discurso para legisladores, os erros resultam em ridicularização. Em outros casos, como o de certos advogados que fundamentam seus casos usando citações falsas criadas pelo ChatGPT, as consequências podem ser sanções e multas.

Essa reação negativa não está apenas custando constrangimento ou sanções aos indivíduos — ela também está começando a aparecer em regras institucionais.

O arquivo de acesso aberto arXiv introduziu uma nova política de aplicação este ano, afirmando que envios que contenham evidências de que os autores falharam em revisar a saída do LLM (como referências alucinadas ou comentários em metalinguagem como, “Gostaria que eu fizesse alguma alteração?”) podem resultar em uma proibição de envio de um ano.

A Pangram não é a única a apostar que a detecção de IA se tornará mais procurada. Concorrentes como Winston AI, Originality.ai, Copyleaks e GPTZero estão correndo atrás da mesma demanda, cada um construindo seu próprio detector.

A tecnologia da Pangram, embora não seja perfeita, pode ajudar a alimentar a resistência à aceitação do conteúdo gerado por IA que está inundando a internet, os tribunais e os artigos acadêmicos. 

Os usuários podem acessar a Pangram por meio de uma assinatura de US$ 20 por mês na Web ou baixar a extensão para o Chrome, que rotula automaticamente as postagens em tempo real no X, LinkedIn, Substack, Reddit e Medium. Ela também fornece uma pontuação de saúde do feed com uma divisão percentual entre conteúdo humano e de IA na sua tela. 

A Pangram também oferece sua tecnologia via API. Notavelmente, o Substack integrou recentemente a tecnologia da Pangram em sua plataforma para mostrar aos leitores quais de seus autores favoritos escrevem suas newsletters usando IA. Outros clientes de API incluem o Quora, escolas e universidades, editoras e agentes, e recrutadores, entre outros, segundo Spero. 

A Pangram funciona?

Spero disse que aproximadamente um em cada 10.000 documentos humanos é rotulado incorretamente como IA com o modelo da Pangram, então decidi colocá-lo à prova. O modelo de detecção de texto foi muito impressionante, mas não perfeito. Ele sinalizou facilmente artigos de notícias inteiramente gerados por IA escritos tanto pelo ChatGPT quanto pelo Claude, e raramente foi enganado pelas minhas tentativas de editar o texto gerado por IA para soar mais humano. Ao mesmo tempo, a Pangram sinalizou frases que reescrevi completamente como sendo escritas por IA. A Pangram também não se deixou enganar pelas minhas tentativas de instruir o ChatGPT e o Claude a evadirem detectores de IA ao gerar conteúdo.

Também dei ao ChatGPT e ao Claude um dos meus próprios artigos e pedi que o aprimorassem. A Pangram atribuiu uma pontuação de 13% de assistência de IA, o que provavelmente estava próximo da precisão, mas o modelo conseguiu detectar mudanças sutis na escolha de palavras em algumas frases e as ignorou em outras. Ele também sinalizou algumas frases como auxiliadas por IA quando foram escritas por humanos. Isso foi notável porque, quando dei à Pangram esse mesmo artigo em sua totalidade, exatamente como eu o havia escrito, ele obteve uma pontuação de 100% humano.

Talvez o problema fosse que artigos de notícias podem ser um pouco secos e facilmente parecerem IA. Então tentei uma tática diferente. Testei a Pangram no conteúdo da minha própria newsletter do Substack, que tem um estilo mais pessoal e marcante, colando a primeira metade do texto na Pangram e pedindo ao ChatGPT e ao Claude queimitassem meu estilo para escrever a segunda metade. Na maior parte, a Pangram detectou facilmente o texto escrito por humanos versus o texto escrito por IA.

Meu teste limitado do novo modelo de detecção de imagens da Pangram provou ser igualmente impressionante. 

O sistema de detecção de imagens de IA da Pangram promete identificar imagens geradas por IA em vários modelos de IA, ao contrário das verificações baseadas em marcas d'água da OpenAI ou do Google DeepMind, que detectam principalmente suas próprias saídas. Ele funciona com distribuições em nível de pixel, aprendendo diferenças estatísticas sutis entre fotos reais e imagens geradas por IA. Spero diz que o modelo pode até detectar uma imagem de IA que aparece dentro de uma foto do mundo real. 

Nos meus testes, o modelo detectou facilmente imagens geradas por IA, fossem elas fotorrealistas ou com estilo de desenho animado. Também posso confirmar que o modelo conseguiu detectar uma imagem de IA aparecendo em uma foto do mundo real — o mapa de calor fornecido pela Pangram se acende claramente sobre a imagem —, embora em um caso ele tenha rotulado incorretamente a foto de uma imagem gerada por IA como conteúdo humano. 

Spero diz que não quer que sua tecnologia alimente uma caça às bruxas contra pessoas que usam IA para escrever, mas que precisa haver algum tipo de mecanismo para contra-atacar a proliferação de porcaria. 

“O futuro que eu vejo é que o conteúdo de IA continue a proliferar”, disse Spero. “Estamos obtendo novas GPUs mais rápido do que novas pessoas estão nascendo. Se não discriminarmos ativamente a favor do conteúdo humano, veremos cada vez mais IA, e ela simplesmente abafará qualquer sinal humano que tenhamos.”