A vulnerabilidade algorítmica não é um efeito colateral indesejado criado por um sistema automatizado, mas um produto necessário de escolhas de design, de opacidade deliberada e da concentração de poder nas empresas gestoras de dados. É como pensa o ministro e presidente do STF e do CNJ (Conselho Nacional de Justiça), Edson Fachin. Durante sua participação no Jornadas Internacionais da Associação Henri Capitant, voltadas ao debate sobre vulnerabilidades algorítmicas e Direito Civil contemporâneo, nesta segunda-feira, 1, no Rio de Janeiro. Fachin apontou três vulnerabilidades:
– Viés algorítmico – que ocorre quando os dados de treinamento refletem desigualdades históricas, como de gênero, raciais e socioeconômicas, e o sistema as reproduz como se fossem verdades objetivas. O exemplo citado foi o de um algoritmo de crédito que penaliza candidatos de determinadas localidades. Neste caso, ele não está “calculando riscos”, mas, sim, “discriminando com aparência de neutralidade científica, sob o argumento de que a decisão foi tomada por uma máquina”;
– Opacidade decisional – ocorre quando um sistema de saúde, uma plataforma de vagas de emprego ou um órgão de concessão de benefícios sociais nega direitos com base em critérios que não se pode explicar ou contestar. “Viola-se, assim, um dos pilares mais antigos do Direito: o direito à motivação das decisões e ao contraditório”;
– Concentração algorítmica – quando poucas empresas ou Estados detêm o controle sobre os sistemas que mediam o acesso a bens, serviços e oportunidades.
Os princípios de transparência, auditabilidade, prevenção, precaução e supervisão são desafios regulatórios da IA e devem ser garantidos, segundo o ministro do STF. Fachin defendeu ainda o fortalecimento do direito à autodeterminação informacional, o aprimoramento de mecanismos para revisão de decisões automatizadas e a intensificação do diálogo entre profissionais do Direito, cientistas de dados, engenheiros e especialistas de diferentes áreas.
Fachin ressaltou que a inteligência artificial não possui consciência moral nem é capaz de substituir plenamente a responsabilidade humana. Para ele, o principal desafio atual vai além do desenvolvimento tecnológico e passa pela criação de mecanismos institucionais que garantam governança, transparência e responsabilização, sem comprometer a dignidade da pessoa humana e os direitos fundamentais.
“Não se trata de demonizar a tecnologia. Trata-se de submetê-la à mesma exigência a que submetemos todos os instrumentos de poder: a exigência de justificação, de transparência, de responsabilidade civil e de respeito à dignidade irredutível de cada pessoa humana. As exigências para nossas atividades no mundo offline também devem ser observadas no mundo online”, concluiu Fachin durante sua fala.
Foto: Ministro Edson Fachin em evento no Rio de Janeiro sobre vulnerabilidade algorítmica. Crédito: Paulo Victor/PGE-RJ/divulgação
