Writer introduces new AI model and upgraded harness to contain token costs
Em toda a indústria de IA, os usuários estão tomando mais consciência de quão caras suas implantações podem ser — e sentindo uma nova urgência para cortar custos. Mas, embora os modelos de código aberto ofereçam custos por token significativamente mais baixos, pode ser difícil encontrar o modelo certo para uma determinada tarefa.
Na quinta-feira, a Writer, que oferece ferramentas de IA e agentes para profissionais de marketing, lançou um novo modelo principal chamado Palmyra X6, com o objetivo de resolver esse problema para seus usuários. Criado como uma variação pós-treinamento do modelo de código aberto GLM-5.2 da Z.ai, a Writer afirma que o novo sistema deve fornecer capacidades prontas para implantação a um preço muito mais baixo. A empresa estima que o novo modelo, combinado com alterações na infraestrutura de suporte (harness) da empresa, cortará custos para seus clientes em até 50% em tarefas básicas.
Junto com o novo modelo, a empresa também lançou atualizações significativas para seu sistema de agentes padrão. Ambos os recursos estarão disponíveis para os clientes da Writer a partir de quinta-feira.
“Acho que as empresas estão absolutamente fartas de correr atrás do próximo benchmark”, disse a CEO May Habib ao TechCrunch. “Elas querem custos estabilizados, e parece que ninguém consegue entregar isso.”
A nova abordagem dá ênfase especial a tarefas complexas e em várias etapas, executadas mais rapidamente e com menos tokens. E a Writer vê a otimização do suporte como uma alavanca crucial para fazer isso acontecer.
Um artigo recente de pesquisadores da Writer dá credibilidade a essa abordagem, testando pequenas mudanças na eficiência do suporte em vários modelos diferentes. A pesquisa descobriu que, em muitos casos, as mudanças no suporte eram uma forma mais confiável de reduzir custos do que a escolha do modelo, com os custos caindo em média 40% em seus testes.
“O suporte é o único componente cuja eficiência se multiplica em cada modelo que uma organização executa — presente e futuro”, escreveram os pesquisadores.
Para os clientes da Writer, a experiência ainda é agnóstica em relação ao modelo: o Palmyra X6 funcionará ao lado de outros modelos da Writer ou de modelos externos importados por meio do Azure ou Amazon Bedrock. Mas Habib também vê o esforço para cortar custos como gerando uma desconfiança mais ampla em relação aos principais laboratórios de IA, que têm um incentivo financeiro para aumentar o uso de tokens.
“A explosão de custos aqui simplesmente não tem precedentes para os clientes, e o mesmo acontece com o grau em que os diretores de TI (CIOs) estão desistindo dos laboratórios”, disse Habib ao TechCrunch, acrescentando que os laboratórios de IA “não entendem profundamente agora como ajudar uma empresa a obter benefícios da IA”.
