O artigo da semana passada sobre nossa janela de oportunidade histórica para posicionar o Brasil como líder em IA responsável rendeu uma discussão rica no LinkedIn. Maurício Suga captou perfeitamente a essência: “a IA é uma faca de dois gumes. Começar de forma responsável significa não ter que dar um passo adiante e ter que dois para trás“.
Luis Claudio Allan tocou num ponto que anda me incomodando bastante e provocando essas reflexões por aqui: “me parece grande as chances de deixarmos mais este bonde passar“. E a Juliana Santos foi direto ao ponto: “esse timing pode passar“.
Vocês estão certos caros amigos. E é exatamente por isso que hoje, como prometi, vou mostrar o que acontece quando empresas – algumas das maiores do mundo – negligenciam essa responsabilidade.
Preparem-se para histórias que vão muito além de “falhas técnicas”. Estamos falando de bilhões de dólares perdidos, carreiras destruídas e vidas impactadas por algoritmos mal projetados.
Como a querida amiga Danielle Silva comentou: “Influenciar exige responsabilidade. Ética.” E vou começar com uma história que chegou até mim recentemente, bem brasileira, bem real, e que ilustra perfeitamente como a IA irresponsável já está entre nós.
Se você é CEO, CTO ou toma decisões sobre IA na sua empresa, estes próximos 7 minutos podem economizar milhões em erros e salvar sua reputação de um desastre anunciado. Continue lendo.
O amigo, a IA e a jornada da recolocação
Um amigo meu experiente, com anos de mercado e uma carreira sólida em tecnologia, decidiu iniciar sua jornada de recolocação profissional. Fez o que muitos fariam: entrou nos portais, buscou vagas no seu setor, encontrou diversas posições em empresas que conhece bem. Ele ficou animado: o mercado parecia aquecido. Apertou o botão “Aplicar” cheio de esperança.
Foi aí que começou a sequência de pequenas frustrações.
Minutos depois, os primeiros e-mails automáticos chegaram. Nenhum contato humano. Apenas confirmações genéricas e notificações de que o currículo “estava sendo analisado”. Mas ele sabia o que estava por trás: filtros automatizados baseados em palavras-chave.
E aqui vem o ponto que o deixou indignado: esse amigo é CCIE, uma das certificações mais respeitadas do setor de redes, mas, por algum motivo, não escreveu a palavra “network” no currículo, talvez por considerar esse conhecimento tão básico quanto óbvio para quem tem essa credencial.
Resultado? Foi eliminado pela IA. O sistema entendeu que ele não tinha conhecimento em redes.
Isso mesmo: uma das maiores certificações do mundo em networking foi ignorada porque faltou a palavrinha mágica.
Como se isso não bastasse, dias depois, vieram outros e-mails, ainda genéricos, mas agora com um toque “humano”. Gente de verdade tinha olhado seu perfil… e o descartado. Por quê? Porque ele havia trabalhado em empresas conhecidas por pagar bem. E, por algum procedimento interno, isso era critério para eliminação.
Ninguém perguntou sua pretensão salarial. Ninguém quis saber se ele estaria disposto a um reposicionamento. Nada. Apenas: “trabalhou em empresa A, B ou C? Dropa”.
A automação virou julgamento. A inteligência artificial aprendeu a ser preconceituosa.
Apple card: quando a IA cria desigualdade financeira
Mas se vocês acham que isso é só “problema brasileiro”, vejam o que aconteceu com uma das empresas mais admiradas do mundo.
Em 2019, a Apple lançou o Apple Card em parceria com o Goldman Sachs, prometendo “um cartão de crédito criado pela Apple, não por um banco”. O algoritmo de aprovação de crédito era apresentado como mais justo e transparente que os sistemas bancários tradicionais.
O sistema deveria democratizar o acesso ao crédito usando inteligência artificial avançada.
O resultado foi constrangedor.
David Heinemeier Hansson, criador do Ruby on Rails e empresário de tecnologia, descobriu que sua esposa havia recebido um limite de crédito 20 vezes menor que o dele, mesmo tendo melhor pontuação de crédito e sendo co-proprietária de todos os bens do casal.
O caso virou viral no Twitter quando David publicou: “O algoritmo do Apple Card é sexista. Minha esposa e eu aplicamos juntos. Eu recebi 20x o limite de crédito dela. Mesma casa, mesmos ativos, ela tem melhor credit score.”
Pior ainda: quando tentaram contestar, o atendimento disse que “é assim que o algoritmo funciona” e que não podiam explicar os critérios.
Steve Wozniak, co-fundador da própria Apple, logo revelou que tinha acontecido exatamente a mesma coisa com ele e sua esposa.
O escândalo forçou o Departamento de Serviços Financeiros de Nova York a abrir uma investigação formal. A Apple e Goldman Sachs tiveram que revisar milhares de casos e ajustar seus algoritmos.
Por quê isso aconteceu? Dados históricos de crédito que refletiam décadas de discriminação financeira contra mulheres. A IA “aprendeu” que mulheres eram “mais arriscadas” financeiramente, perpetuando preconceitos do passado.
COMPAS: quando a “justiça” se torna injusta
Mas talvez o caso mais assustador seja o do sistema COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), usado em tribunais americanos para ajudar juízes a decidirem sobre liberdade condicional e sentenças.
O sistema deveria tornar a justiça mais objetiva. Fez exatamente o contrário.
Em 2016, uma investigação da ProPublica analisou mais de 7.000 casos e descobriu algo chocante: réus negros eram incorretamente classificados como “alto risco” quase duas vezes mais que réus brancos. Enquanto isso, réus brancos eram mais provavelmente classificados como “baixo risco” mesmo quando reincidiam.
Exemplo real: Brisha Borden, 18 anos, negra, foi classificada como “alto risco” após furtar uma bicicleta infantil. Vernon Prater, 41 anos, branco, com histórico de roubo à mão armada, foi classificado como “baixo risco” por furtar ferramentas.
Dois anos depois, foi Prater quem reincidiu, não Borden.
O algoritmo influencia decisões que determinam anos de prisão ou liberdade. Vidas sendo decididas por código enviesado.
O padrão perverso: como a IA aprende o pior de nós
Esses cases revelam um padrão assustador. A IA não é neutra, ela é o reflexo amplificado de nossos piores preconceitos:
Viés de Palavra-Chave: Sistemas rejeitam profissionais qualificados por não conterem termos específicos, ignorando qualificações óbvias.
Viés de Gênero: Algoritmos aprendem que mulheres são “mais arriscadas” financeiramente baseado em discriminações históricas.
Viés Racial: Sistemas de justiça reproduzem discriminações sistêmicas presentes nos dados de décadas passadas.
Viés Socioeconômico: IA pune candidatos por terem trabalhado em “empresas caras” ou por características econômicas irrelevantes.
O custo real da negligência
Para as Empresas:
- Apple/Goldman Sachs: Investigação federal e danos reputacionais massivos
- Northpointe (COMPAS): Questionamentos legais e perda de credibilidade institucional
- Empresas brasileiras: Perda de talentos qualificados por filtros mal programados
Para as Pessoas:
- Profissionais qualificados eliminados por algoritmos preconceituosos
- Mulheres sistematicamente recebendo limites de crédito menores sem justificativa
- Réus recebendo sentenças baseadas em análises racialmente enviesadas
Para a Sociedade:
- Perpetuação de desigualdades através da tecnologia
- Perda de confiança em sistemas automatizados
- Aprofundamento de discriminações históricas com verniz tecnológico
O paradoxo da IA “objetiva”
Aqui está a grande ironia: a IA foi criada para eliminar o preconceito humano das decisões. Na prática, ela está automatizando e amplificando esses preconceitos.
A diferença é que agora ele opera em escala industrial, processando milhares de decisões por segundo, com verniz de “objetividade científica”.
Lições amargas (que podemos aprender)
1. Dados históricos ≠ verdade universal
Só porque algo aconteceu no passado não significa que deveria se repetir no futuro. Algoritmos treinados em dados históricos perpetuam desigualdades históricas.
2. “Neutro” não existe
Toda decisão algorítmica embute escolhas humanas sobre o que é importante, o que medir e como medir. Não existe tecnologia neutra.
3. Diversidade na criação é fundamental
Times homogêneos criam sistemas enviesados. A diversidade não é politicamente correta, é tecnicamente necessária.
4. Transparência é obrigatória
Sistemas que afetam vidas humanas não podem ser “caixas pretas”. As pessoas têm direito de entender como decisões sobre elas são tomadas.
5. Supervisão humana é insubstituível
Automação é ferramenta, não julgamento. Sempre deve haver um humano responsável pelas consequências das decisões algorítmicas.
O que empresas inteligentes estão fazendo
Algumas organizações aprenderam com esses erros:
Microsoft investiu pesado em “IA responsável” após múltiplos incidentes com seus sistemas.
IBM criou diretrizes internas rigorosas para evitar viés em seus sistemas de IA.
Google estabeleceu princípios éticos para desenvolvimento de IA e abandonou projetos controversos.
LinkedIn implementou auditorias regulares para detectar discriminação em seu algoritmo de recomendações.
A oportunidade brasileira
Como mencionei no artigo anterior, o Brasil tem uma janela histórica para liderar em IA responsável. Esses cases internacionais são lições valiosas sobre o que NÃO fazer.
Podemos aprender com os erros dos outros ao invés de repeti-los. Podemos criar frameworks que promovam inovação SEM perpetuar injustiças.
Mas isso só acontecerá se lideranças empresariais entenderem que IA responsável não é “nice to have”, é “need to have”.
A escolha é nossa (e o tempo está se esgotando)
Cada case que mostrei aqui representa uma escolha: fazer IA do jeito fácil (e errado) ou do jeito responsável.
A Apple escolheu confiar cegamente em dados históricos e criou discriminação sistêmica.
O sistema COMPAS escolheu ignorar viés e criou injustiças na justiça.
Empresas brasileiras estão escolhendo automatizar preconceitos ao invés de eliminá-los.
E você? Que escolhas sua empresa está fazendo neste exato momento?
A IA responsável não é uma limitação à inovação, é a única forma sustentável de inovar. Porque algoritmos que discriminam eventualmente são descobertos, abandonados e substituídos. As empresas que entenderem isso primeiro não só evitarão os custos da irresponsabilidade, elas ganharão vantagem competitiva sustentável.
Mas aqui está a verdade inconveniente: não temos décadas para aprender. Temos meses.
Enquanto discutimos, algoritmos estão sendo implementados nas empresas brasileiras agora mesmo. Decisões estão sendo automatizadas. Preconceitos estão sendo codificados. E cada dia que passa sem frameworks adequados é um dia a mais de risco acumulado.
A pergunta não é se podemos nos dar ao luxo de investir em IA responsável. A pergunta é: sua empresa vai fazer parte da solução ou vai virar mais um case de estudo sobre o que não fazer?
Como disse Tânia Telles no comentário do artigo anterior no LinkedIn: “A escolha é ação estratégica!” E ações estratégicas não podem esperar.
Agora é com vocês:
Sua empresa já enfrentou algum “momento Apple Card” com IA? Aquele momento em que vocês descobriram que o algoritmo estava tomando decisões questionáveis ou discriminatórias?
Ou talvez você tenha uma história como a do meu amigo CCIE? Já foi vítima de um filtro automatizado mal programado que ignorou suas qualificações óbvias?
E se você é líder: que medidas concretas sua organização está tomando para evitar esses erros bilionários?
Compartilhe sua experiência nos comentários. Casos reais, sucessos, fracassos, lições aprendidas – tudo isso pode ajudar outros líderes a navegarem melhor neste campo minado.
Lembre-se: sua história pode ser a diferença entre alguém repetir esses erros ou evitá-los.
E se este artigo te fez repensar alguma coisa sobre IA na sua empresa, compartilhe com sua equipe. Discussões como essas precisam sair dos círculos técnicos e chegar às salas de diretoria.
A transformação responsável da IA no Brasil começa com conversas como esta.
Siga o Itshow no LinkedIn e assine a nossa News para ficar por dentro de todas as notícias do setor de TI, Telecom e Cibersegurança!
