blog

Nov 09, 2023

Algoritmo AI racista deja vu com ChatGPT: cientista da computação

Em 1998, criei sem querer uma inteligência artificial racialmente tendenciosa

Em 1998, criei sem querer um algoritmo de inteligência artificial com viés racial. Há lições nessa história que ressoam ainda mais fortemente hoje.

Os perigos de viés e erros em algoritmos de IA agora são bem conhecidos. Por que, então, houve uma enxurrada de erros cometidos por empresas de tecnologia nos últimos meses, especialmente no mundo dos chatbots de IA e dos geradores de imagens? As versões iniciais do ChatGPT produziram resultados racistas. Os geradores de imagem DALL-E 2 e Stable Diffusion mostraram viés racial nas imagens que criaram.

Minha própria epifania como um cientista da computação branco ocorreu enquanto dava uma aula de ciência da computação em 2021. A turma tinha acabado de assistir a um poema em vídeo de Joy Buolamwini, pesquisadora e artista de IA e autodenominada poetisa do código. Seu poema em vídeo de 2019 "AI, não sou uma mulher?" é uma exposição devastadora de três minutos sobre preconceitos raciais e de gênero em sistemas de reconhecimento facial automático – sistemas desenvolvidos por empresas de tecnologia como Google e Microsoft.

Os sistemas geralmente falham com as mulheres negras, rotulando-as incorretamente como homens. Algumas das falhas são particularmente flagrantes: o cabelo da líder negra dos direitos civis Ida B. Wells é rotulado como um "boné de pele de guaxinim"; outra mulher negra é rotulada como possuidora de um "bigode de morsa".

Tive um terrível momento de déjà vu naquela aula de ciência da computação: de repente, lembrei-me de que eu também havia criado um algoritmo racialmente tendencioso. Em 1998, eu era aluno de doutorado. Meu projeto envolvia rastrear os movimentos da cabeça de uma pessoa com base na entrada de uma câmera de vídeo. Meu orientador de doutorado já havia desenvolvido técnicas matemáticas para acompanhar com precisão a cabeça em determinadas situações, mas o sistema precisava ser muito mais rápido e robusto. No início da década de 1990, pesquisadores de outros laboratórios mostraram que as áreas da cor da pele de uma imagem podiam ser extraídas em tempo real. Portanto, decidimos focar na cor da pele como uma dica adicional para o rastreador.

Usei uma câmera digital – ainda uma raridade na época – para tirar algumas fotos de minha própria mão e rosto, e também tirei fotos de mãos e rostos de outras duas ou três pessoas que por acaso estavam no prédio. Foi fácil extrair manualmente alguns dos pixels da cor da pele dessas imagens e construir um modelo estatístico para as cores da pele. Depois de alguns ajustes e depurações, tínhamos um sistema de rastreamento de cabeça em tempo real surpreendentemente robusto.

Não muito tempo depois, meu consultor me pediu para demonstrar o sistema a alguns executivos visitantes da empresa. Quando eles entraram na sala, fui instantaneamente inundado de ansiedade: os executivos eram japoneses. Em meu experimento casual para ver se um modelo estatístico simples funcionaria com nosso protótipo, coletei dados meus e de um punhado de outras pessoas que estavam no prédio. Mas 100% desses indivíduos tinham pele "branca"; os executivos japoneses não.

Milagrosamente, o sistema funcionou razoavelmente bem com os executivos. Mas fiquei chocado ao perceber que havia criado um sistema racialmente tendencioso que poderia facilmente ter falhado para outras pessoas não brancas.

Como e por que cientistas bem-educados e bem-intencionados produzem sistemas de IA tendenciosos? As teorias sociológicas do privilégio fornecem uma lente útil.

Dez anos antes de eu criar o sistema de rastreamento da cabeça, a estudiosa Peggy McIntosh propôs a ideia de uma "mochila invisível" carregada por pessoas brancas. Dentro da mochila há um tesouro de privilégios como "Posso me sair bem em uma situação desafiadora sem ser chamado de crédito para minha raça" e "Posso criticar nosso governo e falar sobre o quanto temo suas políticas e comportamento sem ser visto como um forasteiro cultural".

Na era da IA, essa mochila precisa de alguns itens novos, como "Os sistemas de IA não darão resultados ruins por causa da minha raça". A mochila invisível de um cientista branco também precisaria: "Posso desenvolver um sistema de IA baseado em minha própria aparência e saber que funcionará bem para a maioria dos meus usuários".

Um remédio sugerido para o privilégio branco é ser ativamente antirracista. Para o sistema de rastreamento de cabeça de 1998, pode parecer óbvio que o remédio antirracista é tratar todas as cores de pele igualmente. Certamente, podemos e devemos garantir que os dados de treinamento do sistema representem o intervalo de todas as cores de pele da maneira mais igualitária possível.