Uma análise profunda sobre os riscos e oportunidades da inteligência artificial para direitos humanos, democracia, Judiciário, privacidade, devido processo legal e responsabilização algorítmica.
A inteligência artificial deixou de ser uma ferramenta periférica. Ela já decide prioridades, filtra informações, recomenda conteúdos, organiza fluxos judiciais, detecta fraudes, monitora fronteiras, identifica rostos, classifica riscos, redige documentos, prevê comportamentos e influencia escolhas políticas, econômicas e institucionais. O problema central, portanto, não é mais perguntar se a IA será usada. Ela já é usada. A pergunta decisiva agora é outra: quem controla a máquina que começa a controlar decisões humanas?
Essa pergunta atravessa três pilares da vida pública contemporânea: direitos humanos, democracia e Estado de Direito. O livro Artificial Intelligence and Human Rights, Democracy, and the Rule of Law parte exatamente desse eixo: a IA deve ser avaliada não apenas por sua eficiência técnica, mas por seus efeitos sobre dignidade humana, transparência, proporcionalidade, responsabilização e controle democrático. A obra propõe a integração entre avaliações de impacto em direitos humanos e avaliações de impacto algorítmico, com atenção especial à proporcionalidade e à participação de atores afetados no processo de governança tecnológica.
A inteligência artificial pode servir à liberdade. Pode ampliar acesso à justiça, acelerar diagnósticos médicos, melhorar políticas públicas, detectar violações de direitos humanos, traduzir conteúdos, organizar provas, reduzir burocracias e democratizar conhecimento. Mas também pode se converter em instrumento de vigilância, exclusão, manipulação comportamental, opacidade decisória e discriminação em escala industrial. A mesma tecnologia que identifica desaparecidos pode monitorar opositores. O mesmo modelo que detecta fraude pode punir inocentes. O mesmo algoritmo que promete eficiência no Judiciário pode comprimir o contraditório, reduzir a motivação judicial e transformar pessoas em perfis estatísticos.
A inteligência artificial, nesse sentido, não é neutra. Ela carrega dados, escolhas, prioridades, omissões e valores. O algoritmo pode parecer matemático, mas sua arquitetura é política. A base de dados pode parecer objetiva, mas frequentemente reproduz desigualdades históricas. A automação pode parecer racional, mas muitas vezes apenas veste velhos preconceitos com roupa nova, fria e digital.
O risco invisível: quando a decisão humana desaparece dentro da máquina
O maior perigo da inteligência artificial não está apenas no erro evidente. Está no erro que parece ciência. Uma decisão humana injusta ainda pode ser interrogada: quem decidiu, com base em quê, por qual fundamento, diante de qual prova, sob qual contraditório? Já a decisão algorítmica, quando mal governada, pode aparecer como uma espécie de oráculo técnico. O resultado vem pronto, com aparência de precisão, mas sem revelar suficientemente o caminho percorrido.
Esse é o ponto crítico para o Estado de Direito. Nenhum regime constitucional pode aceitar decisões que afetem liberdade, patrimônio, honra, acesso a serviços, benefícios sociais, saúde, educação, crédito, emprego ou processo judicial sem possibilidade real de explicação, contestação e revisão humana.
A democracia constitucional exige que o poder seja justificável. O cidadão não pode ser reduzido a uma pontuação. O jurisdicionado não pode ser tratado como variável. O réu não pode ser condenado por um padrão estatístico não auditável. A criança, o idoso, o consumidor, o trabalhador, o migrante e o paciente não podem ser expostos a sistemas que classificam riscos sem demonstrar critérios.
A obra anexada destaca que o enfoque baseado em direitos humanos coloca a pessoa no centro da governança da IA, abrange tanto direitos materiais quanto garantias procedimentais, distribui responsabilidades entre governos e empresas e se ancora em um consenso internacional já consolidado. Esse ponto é decisivo: não basta ética voluntária, carta de princípios ou declaração corporativa. A IA precisa ser submetida a deveres verificáveis.
A nova gramática do poder: dados, previsão e controle
O século XX conheceu o poder dos arquivos. O século XXI conhece o poder dos bancos de dados. Governar, vender, vigiar, persuadir e julgar tornaram-se atividades cada vez mais dependentes de coleta, cruzamento e inferência de informações.
A inteligência artificial opera sobre esse solo. Ela precisa de dados para aprender, classificar e prever. Quanto mais dados, maior a capacidade de modelar comportamentos. O problema nasce quando essa coleta se torna excessiva, assimétrica ou invisível. A pessoa não sabe que foi observada, não entende como foi classificada, não sabe quem comprou ou compartilhou suas informações e não consegue contestar a consequência.
Esse fenômeno atinge diretamente a privacidade. Mas não apenas ela. A proteção de dados é uma porta de entrada para outros direitos: igualdade, liberdade de expressão, liberdade política, liberdade religiosa, proteção contra discriminação, direito de defesa, acesso a políticas públicas e autonomia existencial.
Quando um sistema algorítmico coleta dados sensíveis, cruza comportamento digital, analisa localização, interpreta imagem facial e prevê propensão a risco, ele deixa de ser mera ferramenta administrativa. Torna-se uma infraestrutura de poder.
Por isso, a regulação internacional avançou. A União Europeia colocou em vigor o AI Act em 1º de agosto de 2024, com aplicação gradual e regra geral de plena aplicabilidade em 2 de agosto de 2026, criando um regime baseado em risco para sistemas de IA. (Digital Strategy) O Conselho da Europa também abriu para assinatura, em 5 de setembro de 2024, a Convenção-Quadro sobre Inteligência Artificial, Direitos Humanos, Democracia e Estado de Direito, apresentada como o primeiro tratado internacional juridicamente vinculante nesse campo. (Portal)
O movimento global é claro: a IA saiu do território da inovação sem freio e entrou no campo da governança constitucional.
IA e democracia: a disputa pela atenção pública
A democracia depende de cidadãos capazes de formar opinião livremente. A inteligência artificial generativa e os sistemas de recomendação alteram esse ambiente. Plataformas podem priorizar conteúdos inflamados, automatizar propaganda, fabricar consenso artificial, multiplicar desinformação, criar deepfakes, simular apoio popular e manipular vulnerabilidades psicológicas.
O risco democrático não está apenas na mentira. Está na erosão da confiança. Quando qualquer vídeo pode ser falso, qualquer áudio pode ser fabricado e qualquer notícia pode ser produzida por rede automatizada, a esfera pública perde seu chão comum. A dúvida deixa de ser método crítico e vira neblina permanente.
A IA também pode ampliar desigualdades políticas. Grupos com maior capacidade tecnológica podem segmentar mensagens, explorar medos, mapear eleitores, testar narrativas e ajustar propaganda em tempo real. Isso cria uma assimetria informacional profunda: o cidadão acredita estar recebendo uma mensagem pública, mas recebe uma peça desenhada para sua fragilidade privada.
A democracia deliberativa exige transparência sobre quem fala, com que interesse, usando qual tecnologia e com quais dados. Sem isso, o debate público vira laboratório comportamental.
A UNESCO já havia adotado, em 2021, uma Recomendação sobre Ética da Inteligência Artificial, apresentada como o primeiro padrão global da organização sobre ética em IA e aplicável aos seus 194 Estados-membros. O documento coloca direitos humanos, dignidade, transparência, justiça e supervisão humana no centro da governança. (UNESCO)
Essa orientação é insuficiente se ficar apenas no plano simbólico, mas é relevante porque fixa uma premissa civilizatória: inovação não é licença para desumanização.
IA no Judiciário: eficiência não pode substituir justiça
O Judiciário é um dos campos mais sensíveis para o uso da inteligência artificial. Sistemas de IA podem auxiliar triagem processual, pesquisa jurisprudencial, gestão de precedentes, identificação de demandas repetitivas, apoio à redação, classificação documental e análise estatística. Esses usos podem reduzir atrasos e melhorar a organização institucional.
Mas há uma linha vermelha: a IA não pode substituir a responsabilidade judicial.
Uma decisão judicial exige motivação, individualização, contraditório, análise probatória, prudência humana e responsabilidade institucional. Se um modelo sugere uma conclusão e o magistrado apenas a chancela, a decisão deixa de ser propriamente humana. Se a fundamentação vira texto automatizado sem aderência ao caso concreto, o processo se empobrece. Se a IA trabalha com dados enviesados, o sistema pode repetir discriminações com aparência de eficiência.
No Brasil, o Conselho Nacional de Justiça publicou a Resolução nº 615/2025, que estabelece diretrizes para desenvolvimento, utilização e governança de soluções de IA no Poder Judiciário. A norma menciona transparência, publicidade, dignidade humana, respeito aos direitos humanos, não discriminação, devido processo, motivação, prestação de contas, responsabilização, auditabilidade, segurança da informação e supervisão humana. (Atos)
Esse ponto deve ser lido com rigor: o uso de IA em ambiente judicial só é legítimo se permanecer subordinado ao devido processo legal. Não basta que a ferramenta seja útil. É necessário que seja controlável. Não basta que produza velocidade. É necessário que preserve justiça. Não basta que organize massas processuais. É necessário que não esmague singularidades humanas.
O processo judicial não é linha de montagem. É procedimento constitucional de contenção do poder.
Reconhecimento facial: o rosto como senha, prova e alvo
Entre todas as aplicações de IA, o reconhecimento facial talvez seja uma das mais delicadas. Ele transforma o rosto em chave de identificação permanente. O corpo passa a funcionar como documento involuntário. Em espaços públicos, essa tecnologia pode identificar pessoas sem contato, sem consentimento e sem ciência efetiva.
O risco é duplo. Primeiro, há risco de erro. Sistemas de reconhecimento facial podem apresentar desempenho desigual conforme raça, gênero, idade, iluminação, qualidade da imagem e composição da base de treinamento. Segundo, há risco de acerto abusivo. Mesmo quando funciona bem, a tecnologia pode permitir vigilância massiva, monitoramento de protestos, perseguição política e controle social.
O AI Act europeu impõe fortes restrições ao uso de identificação biométrica remota em tempo real por autoridades, exigindo critérios de necessidade, proporcionalidade e autorização em hipóteses estritas. A literatura sobre tribunais europeus também ressalta a necessidade de limites claros, qualidade dos dados, transparência, devido processo e garantias contra abusos em evidências baseadas em IA.
Aqui, a pergunta correta não é apenas “o sistema identifica?”. A pergunta constitucional é: quem pode identificar, quando, por qual finalidade, com qual base legal, sob qual controle e com qual possibilidade de contestação?
Sem essas respostas, a cidade inteligente pode virar cidade-vigia.
Discriminação algorítmica: quando o passado contamina o futuro
A IA aprende com dados históricos. Mas a história humana é atravessada por desigualdades. Se dados de contratação refletem exclusão de mulheres, o modelo pode aprender que homens são candidatos “mais adequados”. Se dados policiais refletem maior vigilância sobre certos bairros, o algoritmo pode recomendar ainda mais policiamento nesses locais. Se dados de crédito refletem desigualdade socioeconômica, o sistema pode negar oportunidades a quem mais precisa delas.
Essa é a engrenagem da discriminação algorítmica: o passado vira padrão, o padrão vira previsão e a previsão vira decisão.
A injustiça torna-se circular. O sistema diz prever risco, mas muitas vezes apenas reconhece populações historicamente expostas a maior controle estatal ou exclusão econômica. A estatística, nesse cenário, vira memória seletiva do poder.
Por isso, auditorias independentes, curadoria de dados, testes de impacto discriminatório, explicabilidade e revisão humana não são luxos técnicos. São requisitos de constitucionalidade material. Um modelo que afeta direitos precisa demonstrar não apenas acurácia, mas justiça. Acurácia média não basta quando o erro se concentra sobre grupos vulneráveis.
Direitos fundamentais não podem depender de “média aceitável” quando o custo do erro recai sempre sobre os mesmos corpos.
IA, segurança e criminalização automatizada
No campo criminal, os riscos são ainda mais intensos. Sistemas preditivos podem indicar áreas de maior probabilidade de crime, sugerir risco de reincidência, priorizar investigações, analisar imagens, cruzar dados e apoiar decisões cautelares. A promessa é eficiência. O perigo é transformar suspeita em cálculo opaco.
Nenhuma pessoa deve ser investigada, abordada, presa, processada ou condenada com base em inferência não demonstrável. A prova penal exige cadeia de custódia, contraditório, perícia, rastreabilidade, legalidade e controle judicial. Uma evidência algorítmica sem explicação suficiente é uma caixa-preta acusatória.
A IA pode auxiliar a investigação, mas não pode dissolver a presunção de inocência. Pode apontar caminhos, mas não pode substituir prova. Pode organizar dados, mas não pode fabricar certeza. Pode apoiar perícia, mas não pode blindar seus resultados contra impugnação.
No processo penal, a opacidade algorítmica não é detalhe técnico. É ameaça direta à defesa. Onde não há explicabilidade, a ampla defesa fica ferida. Onde não há auditabilidade, o contraditório se torna teatral. Onde não há rastreabilidade, a prova perde sua alma processual.
O Brasil diante da regulação: centralidade humana ou corrida desgovernada?
O Brasil está diante de uma escolha estratégica. Pode construir uma regulação de IA que combine inovação, proteção de direitos e segurança jurídica. Ou pode permitir que a tecnologia avance por fragmentos, empurrada por interesses privados, soluções importadas e improvisações administrativas.
O PL 2338/2023, aprovado pelo Senado em dezembro de 2024 e submetido à revisão da Câmara dos Deputados, busca estabelecer normas nacionais para desenvolvimento, fomento e uso ético e responsável da inteligência artificial com base na centralidade da pessoa humana. A Câmara registra que a proposta classifica sistemas de IA segundo níveis de risco para a vida humana e ameaça a direitos fundamentais. (Portal da Câmara dos Deputados) (Portal da Câmara dos Deputados)
Essa opção por uma matriz de risco acompanha a tendência internacional. Mas o ponto mais importante não está no rótulo. Está na consequência. Sistemas de alto risco precisam ter deveres mais severos: avaliação de impacto, documentação, registro, transparência, governança de dados, segurança, supervisão humana, canal de contestação e responsabilidade por danos.
Sem sanção, a ética vira marketing. Sem auditoria, a transparência vira vitrine. Sem participação social, a governança vira clube técnico. Sem controle judicial, a automação vira poder sem rosto.
Empresas de tecnologia e responsabilidade: quem responde pela máquina?
Outro ponto fundamental é a responsabilidade das empresas. Muitos sistemas usados por governos, bancos, escolas, hospitais, seguradoras, plataformas digitais e órgãos públicos são desenvolvidos por fornecedores privados. Isso cria uma cadeia complexa: quem coleta os dados? Quem treina o modelo? Quem define os parâmetros? Quem implementa? Quem monitora? Quem responde pelo erro?
A resposta não pode ser um labirinto conveniente. Empresas que desenvolvem, vendem ou operam sistemas de IA capazes de afetar direitos devem respeitar deveres de diligência. Isso inclui documentação técnica, prevenção de danos, testes de viés, segurança cibernética, governança de dados, rastreabilidade de decisões e mecanismos efetivos de reparação.
A obra anexada ressalta que a estrutura internacional de direitos humanos, em conjunto com os Princípios Orientadores da ONU sobre Empresas e Direitos Humanos, oferece uma base robusta para definir responsabilidades de governos e empresas diante dos impactos de novas tecnologias.
Essa é uma mudança de eixo. A pergunta deixa de ser “a tecnologia funciona?” e passa a ser: “a tecnologia respeita direitos, permite contestação e distribui responsabilidade?”
O falso dilema entre inovação e direitos humanos
Há quem trate direitos humanos como obstáculo à inovação. Essa visão é pobre e perigosa. Direitos humanos não impedem tecnologia. Eles impedem abuso. Não bloqueiam pesquisa. Exigem governança. Não paralisam empresas. Criam confiança.
A inovação sem confiança social gera reação, judicialização e insegurança. Já a inovação responsável cria mercados mais estáveis, instituições mais legítimas e tecnologias mais sustentáveis. O melhor ambiente para IA não é o faroeste regulatório. É o ecossistema com regras claras, segurança jurídica e proteção contra danos previsíveis.
A União Europeia adotou um caminho regulatório robusto. O Conselho da Europa avançou com tratado internacional. A UNESCO fixou princípios globais. O CNJ disciplinou o uso judicial no Brasil. A Câmara analisa o PL 2338/2023. O mundo está formando uma gramática comum: centralidade humana, avaliação de risco, supervisão humana, transparência, não discriminação, segurança, contestabilidade e responsabilidade.
A IA do futuro não será julgada apenas por sua potência. Será julgada por sua legitimidade.
Avaliação de impacto: o teste que deveria anteceder a implantação
Antes de implementar IA em áreas sensíveis, deve-se realizar avaliação de impacto. Essa avaliação não pode ser documento decorativo. Deve responder perguntas duras:
Quem será afetado? Quais direitos podem ser atingidos? Quais dados serão usados? Há dados sensíveis? A base é representativa? O sistema pode discriminar? Há explicabilidade? Há revisão humana? Há canal de contestação? Há auditoria independente? Há plano de mitigação? Há registro de incidentes? Há possibilidade de suspensão?
O livro anexado enfatiza a importância de combinar avaliações de impacto em direitos humanos com avaliações algorítmicas, seguindo proporcionalidade e participação de stakeholders. Essa integração é essencial porque a análise puramente técnica não enxerga toda a dimensão do dano humano.
Um modelo pode ser eficiente e ainda assim injusto. Pode ser preciso e ainda assim abusivo. Pode ser lucrativo e ainda assim incompatível com a democracia.
A avaliação de impacto deve ser uma espécie de audiência prévia da tecnologia diante dos direitos fundamentais. Antes de entrar em operação, a máquina deve explicar por que merece confiança.
O princípio da supervisão humana efetiva
“Humano no circuito” não pode ser frase ornamental. Supervisão humana efetiva significa capacidade real de compreender, questionar, corrigir e bloquear o resultado produzido pela IA. Se o operador apenas aceita a sugestão porque não tem tempo, conhecimento ou autoridade para divergir, a supervisão é fictícia.
No Judiciário, isso é ainda mais grave. O magistrado não pode terceirizar sua convicção. O servidor não pode operar sistema que não entende. As partes não podem enfrentar um resultado cuja origem desconhecem. O advogado precisa poder impugnar. O Ministério Público e a Defensoria precisam fiscalizar. A sociedade precisa conhecer os limites.
A Resolução CNJ nº 615/2025 menciona supervisão humana, auditabilidade, avaliação de impacto algorítmico e monitoramento como elementos estruturais da governança de IA no Judiciário. (Atos) Isso cria uma régua institucional importante: quanto maior o impacto sobre direitos, maior deve ser o controle humano.
A automação deve servir à decisão humana, não sequestrá-la.
Conclusão: a Constituição precisa entrar no código
A inteligência artificial é uma das maiores forças reorganizadoras do nosso tempo. Ela pode ampliar capacidades humanas, fortalecer políticas públicas, melhorar o acesso à justiça e revelar violações antes invisíveis. Mas também pode criar uma camada nova de dominação: silenciosa, preditiva, personalizada e difícil de contestar.
O ponto decisivo é impedir que a tecnologia produza um constitucionalismo de fachada: direitos no papel, decisões na máquina, responsabilidades evaporadas na cadeia técnica.
A Constituição precisa entrar no código. O devido processo precisa entrar no design. A dignidade humana precisa entrar na base de dados. A igualdade precisa entrar nos testes. A transparência precisa entrar nos relatórios. A responsabilidade precisa entrar nos contratos. A democracia precisa entrar na governança.
A inteligência artificial não ameaça necessariamente os direitos humanos. O que ameaça os direitos humanos é a inteligência artificial sem freios, sem explicação, sem auditoria, sem contraditório, sem reparação e sem rosto responsável.
A nova fronteira civilizatória não será escolher entre homem e máquina. Será decidir se a máquina continuará subordinada à pessoa humana ou se aceitaremos, por conveniência e fascínio tecnológico, que decisões fundamentais passem a nascer em sistemas que ninguém compreende, ninguém contesta e ninguém assume.
O futuro da IA será democrático apenas se for controlável. Será legítimo apenas se for explicável. Será humano apenas se não esquecer que toda tecnologia pública, antes de ser eficiente, deve ser justa.
