Quando os algoritmos assumem uma posição

Um caso a ser decidido em breve pela Suprema Corte de Wisconsin considera o papel adequado da previsão matemática no tribunal - e além.

Damir Sagolj / Reuters

Em fevereiro de 2013, Eric Loomis foi encontrado dirigindo um carro que tinha sido usado em um tiroteio . Ele foi preso; ele se declarou culpado por iludir um oficial e não contestar a operação de um veículo sem o consentimento de seu proprietário. O juiz no caso de Loomis deu-lhe uma sentença de prisão de seis anos por esses crimes - uma duração determinada em parte não apenas pelo registro criminal de Loomis, mas também por sua pontuação em a escala COMPAS , uma avaliação determinada por algoritmos que visa, e afirma, prever o risco de reincidência de um indivíduo. A aplicação da lei em Wisconsin, onde Loomis morava na época de sua prisão, confia no COMPAS e algoritmos semelhantes para aumentar a intuição humana e a análise com, eles afirmam, uma abordagem mais objetiva da justiça. A pontuação de Loomis sugeriu que ele tinha um alto risco de cometer outro crime; portanto, sua sentença de seis anos.

Loomis apelou da decisão, alegando que o uso do algoritmo preditivo pelo juiz em sua decisão de condenação violou o devido processo. (COMPAS é um algoritmo proprietário, e as entradas que informam suas avaliações de risco finais são, para o público, em grande parte opacas.) O caso foi encaminhado para a Suprema Corte de Wisconsin e espera-se que uma decisão seja tomada no final desta semana.

Para Julia Angwin, uma repórter de tecnologia da ProPublica que passou o ano passado concentrando seus esforços de reportagem no COMPAS e outros algoritmos de avaliação de risco, o caso Loomis é mais do que o sistema de justiça criminal dos EUA e mais ainda do que os direitos constitucionais que informam esse sistema. O caso e as ideias em jogo também servem como mais um lembrete de que os algoritmos estão cada vez mais flexionando todas as áreas da vida cívica e comercial. Pontuação de crédito. Notícias. Policiamento. Como Angwin argumentou hoje no Aspen Ideas Festival, co-organizado pelo Aspen Institute e O Atlantico : De formas grandes e pequenas, os algoritmos fazem julgamentos que, sob o pretexto de dados frios e sólidos, afetam diretamente a vida das pessoas - para melhor, frequentemente, mas às vezes para pior.

A ironia, argumenta Angwin, é que nós - como sistema de justiça criminal, como corpo político e como cultura - estamos adotando uma abordagem humana demais para nossa infraestrutura algorítmica: confiamos demais nela. Ainda não pensamos tão rigorosamente ou tão estrategicamente quanto precisamos sobre seus efeitos. Não consideramos totalmente se, e de fato como, devemos regular os algoritmos que estão ajudando a regular nossas vidas. Esta é uma área selvagem e lanosa, disse Angwin. Realmente parece o Velho Oeste no momento.

Não consideramos totalmente como, e de fato se, regular os algoritmos que estão ajudando a regular nossas vidas.

Faz algum sentido que estejamos inclinados a confiar nos algoritmos como objetivos e, como tal, inquestionáveis. O apelo de um sistema como o COMPAS é que ele se propõe a injetar objetividade em um sistema de justiça criminal que foi comprometido, muitas vezes, por falhas humanas. O que esse apelo tende a omitir, entretanto, é o fato de que algoritmos, apesar de seus nomes científicos, são tão falíveis quanto as pessoas e instituições que os escrevem. Angwin pesquisou os resultados do COMPAS , em particular - e descobriu, depois de comparar as previsões do algoritmo com os resultados do mundo real, que ele tinha apenas cerca de 60 por cento de precisão (apenas um pouco mais do que um cara ou coroa). Pior ainda, o algoritmo, como o artigo da ProPublica resumiu sem rodeios, é tendencioso contra os negros.

Isto não foi a primeira vez que os algoritmos exibiram esse viés. E, para Angwin, o que tudo isso significa é a necessidade de uma abordagem mais cética para algoritmos em geral: o que ela chama de responsabilidade algorítmica. Ainda vivemos em uma época de otimismo tecnológico geral, argumentou Angwin - uma época em que novas tecnologias (smartphones! Facebook! robôs que o ajudam a descarregar a máquina de lavar louça! ) prometem tornar nossas vidas mais eficientes e agradáveis. Essas tecnologias podem ajudar a tornar nosso sistema de justiça mais equitativo; eles podem não. A questão é que devemos isso a nós mesmos - e a Eric Loomis, e a todas as outras pessoas cuja vida pode ser alterada por um algoritmo - descobrir.