Flock says its new tool will help identify police abuse, but hasn’t explained how it works
A startup de tecnologia de vigilância Flock anunciou uma série de novas políticas e ferramentas na quinta-feira, alegando que elas ajudarão a coibir o abuso de seus sistemas automatizados de leitura de placas de câmeras e ajudarão a responsabilizar seus clientes de aplicação da lei.
A Flock agora está recomendando que os departamentos de polícia retenham dados por sete dias, em vez dos 30 dias anteriores. Juntamente com essa mudança, a empresa introduziu o que chama de “Modo de Evidência”, que pode ser ativado quando os clientes precisam reter dados por períodos mais longos em “casos excepcionais” e exige um número de caso específico. Os clientes também poderão definir limites para os dados que compartilham com outros clientes com base no tipo de infração sob investigação.
A empresa também destacou uma ferramenta chamada “Assistência de Auditoria” como uma das principais mudanças. A Flock lançou a ferramenta em abril. Desde então, a Flock afirmou que “mais de um terço” de seus clientes a ativou, e a startup agora está exigindo que todos os clientes a habilitem até o final do ano.
A Flock disse que a Assistência de Auditoria “detecta atividades anormais e as sinaliza para revisão do Administrador”, de acordo com a postagem no blog lançada na quinta-feira. Se isso acontecer, a ferramenta pode bloquear automaticamente os usuários que foram sinalizados até que um administrador intervenha. De acordo com a Flock, a ferramenta já ajudou clientes a identificar e interromper abusos.
Vários executivos têm divulgado as capacidades da Assistência de Auditoria. Mas, apesar de sua importância declarada, a Flock não explicou em detalhes como a Assistência de Auditoria realmente funciona.
Alguns comentários oficiais fornecem alguma compreensão do que a Assistência de Auditoria pode fazer; ela se torna vaga ao tentar determinar como ela faz isso.
Por exemplo, a chefe de confiança e conformidade da Flock, Ashley Haber, disse em um vídeo que a Assistência de Auditoria pode sinalizar “o que pode parecer um histórico de pesquisa incomum de um usuário específico”, ajudando os clientes a entender como seus usuários estão operando o sistema. Em outro vídeo, a cofundadora da Flock, Paige Todd, disse que “a Assistência de Auditoria realmente sinaliza padrões incomuns precocemente. Pense em um usuário pesquisando a mesma placa repetidamente por mais de 30 dias.”
E o major Patrick Krieg, do Departamento de Polícia de Dunwoody, na Geórgia, cliente da Flock, descreveu o recurso em um comunicado à imprensa como “um algoritmo que nos notificou sobre qualquer tipo de viés. Adoraríamos que todos os nossos fornecedores fizessem isso.”
A Flock descreve a Assistência de Auditoria como um recurso que pode “trazer à tona atividades atípicas precocemente e revisá-las rapidamente com um fluxo de trabalho claro e documentado.”
O que não está claro — e sobre o qual o TechCrunch pediu respostas — é como esse “algoritmo” realmente funciona, com quais dados ele foi treinado e se foi desenvolvido usando um modelo de linguagem grande. O TechCrunch também perguntou que tipo de padrões ele foi projetado para expor e o que exatamente é sinalizado como “atividade anormal”?
De acordo com a Flock, a Assistência de Auditoria não se baseia em [Aprendizado de Máquina] ou IA. A empresa disse ao TechCrunch que “É uma ferramenta de dados que sinaliza padrões de pesquisa atípicos para revisão posterior. Um exemplo que acionaria um sinalizador é se um usuário pesquisar a mesma placa usando vários códigos de caso diferentes, pois isso pode indicar potencialmente um abuso. Um sinalizador não significa que seja definitivamente um abuso — significa apenas que justifica uma investigação mais aprofundada.”
Inúmeras perguntas permanecem sem resposta, no entanto, incluindo se a Flock possui estatísticas ou dados que mostrem quão eficaz é a ferramenta, quais são suas taxas de falsos positivos e falsos negativos e se ela foi auditada por terceiros?
Especialistas em privacidade e críticos da Flock não estão impressionados com a Assistência de Auditoria.
O conselheiro sênior de políticas da União Americana pelas Liberdades Civis (ACLU), Chad Marlow, escreveu em resposta ao anúncio da Flock que “não há evidências de que a ferramenta funcione de forma consistente” para combater o abuso.
“Embora dezenas de policiais tenham sido recentemente presos, demitidos ou disciplinados de outra forma por usar mal a Flock para fins pessoais, a Flock afirma que essas prisões são a prova de que sua ferramenta de auditoria funciona”, escreveu Marlow. “No entanto, a menos que saibamos o número de policiais que usam mal o sistema, não podemos concluir se a Flock e suas ferramentas de auditoria estão pegando 95% dos infratores ou 5%. A Flock precisa ter sua ferramenta de auditoria analisada por um avaliador independente para determinar sua eficácia real. Até lá, não sabemos se a ferramenta é uma medida de segurança real ou apenas fachada.”
Cooper Quintin, pesquisador de segurança e tecnologista sênior de interesse público da Electronic Frontier Foundation, disse ao TechCrunch que pode nem importar se a Assistência de Auditoria funciona.
“Se funcionar, a aplicação da lei encontrará maneiras de contorná-la”, disse ele, acrescentando que o que importa no final é se os abusadores são pegos e responsabilizados. “Se não houver consequências para o abuso e quem quer que a ferramenta denuncie for a mesma agência policial que está cometendo o abuso, é apenas uma fachada para a Flock. A melhor maneira de garantir a responsabilidade é aprovar leis que restrinjam o uso dessa tecnologia e exijam um mandado para seu uso.”
Rachel Levinson-Waldman, diretora do Programa de Liberdade e Segurança Nacional do Brennan Center, disse ao TechCrunch que tornar a Assistência de Auditoria obrigatória é um passo na direção certa e que, “em teoria”, a ferramenta é “uma ótima ideia”. Mas ela também disse que a ferramenta em si “precisa ser auditada” porque não há informações suficientes sobre como ela funciona na prática.
Os anúncios da Flock ocorrem após anos de incidentes relatados de seus clientes abusando repetidamente de sua tecnologia. No início desta semana, três ex-delegados do xerife da Geórgia foram presos e acusados de usar câmeras da Flock para perseguir pessoas com quem tinham um “relacionamento pessoal na época”, conforme afirmou o Gabinete do Xerife do Condado de Bibb em um comunicado à imprensa. Neste caso, o xerife do Condado de Bibb, David Davis, destacou especificamente a nova ferramenta da Flock, Assistência de Auditoria, por descobrir o uso indevido.
