blog

Nov 02, 2023

Alarme falso: como Wisconsin usa raça e renda para rotular os alunos de “alto risco”

Machine Learning The Markup encontrou o estado de uma década

Aprendizado de máquina

O Markup descobriu que os algoritmos de previsão de evasão de uma década do estado não funcionam e podem estar influenciando negativamente a forma como os educadores percebem os alunos de cor Por Todd Feathers

Esta história foi co-publicada com a Chalkbeat, uma organização de notícias sem fins lucrativos que cobre a educação pública. Subscreva as suas newsletters aqui.

No verão passado, os administradores da Bradford High School em Kenosha, Wisconsin, se reuniram como fazem todos os anos para planejar a nova turma de alunos do nono ano. De uma lista de centenas de alunos do ensino médio, o diretor assistente Matt Brown e sua equipe fizeram uma lista de 30 a 40 alunos que eles suspeitavam que poderiam ter mais dificuldades para se formar.

Durante as férias de verão, Brown e sua equipe revisaram a lista e visitaram a casa de cada criança. A equipe trouxe camisetas para os alunos, se apresentou aos pais, deixou suas informações de contato e, esperavam, uma primeira impressão positiva.

"É como, 'Ei, queremos dar a você algum equipamento Bradford. Você fará parte de uma família Bradford agora'", disse Brown. "É meio que saindo desse ponto de vista de 'Ei, estamos aqui para apoiá-lo', não necessariamente, 'Ei, seu filho realmente estragou tudo no ano passado'... porque não queremos que os pais se sintam como você' já estão rotulando seu filho como alguém que é um encrenqueiro."

Mas, na maioria dos casos, os alunos da lista de Bradford para visitas de verão chegam lá por causa de um rótulo - "alto risco" - atribuído a eles por um algoritmo racialmente desigual construído pelo estado de Wisconsin, que frequentemente gera alarmes falsos.

Desde 2012, os administradores escolares de Wisconsin, como Brown, receberam sua primeira impressão de novos alunos do Dropout Early Warning System (DEWS), um conjunto de algoritmos de aprendizado de máquina que usam dados históricos, como pontuações de testes dos alunos, registros disciplinares, taxas gratuitas ou reduzidas status do preço do almoço e raça - para prever a probabilidade de cada aluno da sexta à nona série no estado se formar no ensino médio a tempo.

Duas vezes por ano, as escolas recebem uma lista de seus alunos matriculados com a previsão codificada por cores do DEWS ao lado de cada nome: verde para baixo risco, amarelo para risco moderado ou vermelho para alto risco de abandono.

Funcionários da educação já usaram o DEWS como uma ferramenta-chave em sua luta contra a lacuna de graduação do estado. Enquanto 94% dos alunos brancos se formaram no prazo no ano passado, apenas 82% dos hispânicos e 71% dos alunos negros concluíram o ensino médio em quatro anos. O DEWS pretendia colocar previsões personalizadas nas mãos dos educadores com antecedência suficiente para que eles pudessem intervir antes que uma criança mostrasse sinais óbvios de se desviar.

O colapsoAprendizado de máquina

O Dropout Early Warning System (DEWS) de Wisconsin pontua todos os alunos do ensino médio com base na renda, raça e muito mais

Mas depois de uma década de uso e milhões de previsões, o The Markup descobriu que o DEWS pode estar influenciando incorretamente e negativamente como os educadores percebem os alunos, principalmente os alunos de cor. E um próximo estudo acadêmico de pesquisadores da Universidade da Califórnia, Berkeley, que compartilhou dados e resultados de pré-publicação com o The Markup, concluiu que o DEWS falhou em seu objetivo principal: melhorar as taxas de graduação para os alunos que rotula de "alto risco". "

Uma análise de equidade interna do Departamento de Instrução Pública (DPI) realizada em 2021 descobriu que o DEWS gerou alarmes falsos sobre alunos negros e hispânicos que não se formaram no prazo a uma taxa significativamente maior do que para seus colegas brancos. A taxa de falsos alarmes do algoritmo - a frequência com que um aluno que previu que não se formaria no prazo realmente se graduou no prazo - foi 42 pontos percentuais maior para alunos negros do que para alunos brancos, de acordo com uma apresentação do DPI resumindo a análise, que obtivemos por meio de um solicitação de registros públicos. A taxa de alarmes falsos foi 18 pontos percentuais maior para alunos hispânicos do que para alunos brancos. O DPI não informou aos funcionários da escola que usam o DEWS sobre as descobertas nem parece ter alterado os algoritmos nos quase dois anos desde que concluiu que o DEWS era injusto.