Los sistemas de IA pueden reproducir y amplificar sesgos presentes en los datos con los que se entrenan. Explicamos el origen del problema y las estrategias que se usan para mitigarlo.
Un sistema de inteligencia artificial aprende de los datos que se le proporcionan durante su entrenamiento. Si esos datos reflejan desigualdades o patrones históricos sesgados, el sistema puede reproducir —e incluso amplificar— esos mismos sesgos en sus resultados, sin que exista una intención explícita de discriminar por parte de quienes lo diseñaron.
Este problema se ha documentado en distintos contextos, desde sistemas de selección de currículums hasta herramientas de reconocimiento facial con tasas de error desiguales según ciertas características demográficas.
Entre las estrategias para mitigar este problema están la auditoría de los conjuntos de datos de entrenamiento antes de usarlos, la evaluación del comportamiento del sistema con distintos grupos de población antes de su despliegue, y la revisión humana en las decisiones de mayor impacto. Ningún método elimina el riesgo por completo, por lo que la supervisión continua sigue siendo necesaria.