El espejo no miente, pero repite
En 2018, Joy Buolamwini y Timnit Gebru, investigadoras del MIT Media Lab, publicaron Gender Shades: un estudio que medía qué tan bien los sistemas comerciales de reconocimiento facial de IBM, Microsoft y Face++ clasificaban el género de una persona según su rostro. Para hombres de piel clara, la tasa de error era menor al 1%. Para mujeres de piel oscura, llegaba hasta 34,7% — una persona de cada tres, mal clasificada. Dos años después, IBM anunció que abandonaba por completo el negocio de reconocimiento facial.
No era un error de cálculo. Era un espejo: los sistemas aprendieron de bases de datos de entrenamiento donde los rostros de hombres blancos estaban sobrerrepresentados. La máquina no inventó el sesgo. Lo heredó, lo escaló y lo automatizó.
Cuando el currículum tiene género
En 2014, Amazon empezó a construir una herramienta interna para filtrar currículums automáticamente. La entrenaron con diez años de postulaciones históricas — un historial donde la mayoría de las contrataciones en cargos técnicos habían sido de hombres. El sistema aprendió la lección equivocada: penalizaba currículums que incluían la palabra "women's" (como en "women's chess club captain") y bajaba el puntaje de egresadas de universidades exclusivas para mujeres. Amazon descartó el proyecto en 2017, antes de usarlo en decisiones reales. Reuters lo reveló un año después.
El sistema no fue programado para discriminar. Fue programado para replicar un patrón. Y el patrón ya discriminaba.
El lenguaje ya venía cargado
El sesgo no vive solo en las fotos ni en los currículums. También vive en el lenguaje que usamos para entrenar los modelos. En 2016, investigadores de Boston University y Microsoft Research analizaron los word embeddings — la forma en que un modelo aprende a representar el significado de las palabras según qué tan cerca aparecen unas de otras en millones de textos. Le pidieron al modelo que completara la analogía "hombre es a programador lo que mujer es a ___". La respuesta que el modelo consideraba más natural: "ama de casa".
El modelo no tenía opiniones. Tenía estadística. Y la estadística del lenguaje que leyó reflejaba exactamente los roles que la sociedad ya le había asignado a cada género.
Cuando ni la empresa puede explicar el sesgo
En 2019, David Heinemeier Hansson, creador de Ruby on Rails, contó en redes que Apple Card le había dado un límite de crédito veinte veces mayor al de su esposa, pese a que ella tenía mejor puntaje crediticio que él. Steve Wozniak reportó algo parecido. El regulador financiero de Nueva York investigó a Goldman Sachs, el banco detrás de la tarjeta — y no encontró evidencia de que el algoritmo usara el género como variable explícita.
Ese es, quizás, el hallazgo más incómodo de todo este ensayo: nadie necesita programar el sesgo a propósito. Basta con entrenar un sistema sobre datos históricos —ingresos, historial crediticio, patrones de gasto— que ya cargan con la desigualdad, y dejar que el algoritmo encuentre correlaciones que ni sus propios creadores pueden explicar. La opacidad no es un efecto secundario. Es, muchas veces, el problema central.
Quién construye decide qué se automatiza
Nada de esto es casual si se mira quién está construyendo estos sistemas. Según el Global Gender Gap Report 2025 del Foro Económico Mundial, las mujeres con habilidades en ingeniería de IA pasaron de representar el 23,5% de esa fuerza laboral en 2018 al 29,4% en 2025 — un avance real, pero todavía minoritario. Y mientras las mujeres ocupan un 29% de los cargos STEM de nivel inicial, solo llegan al 12,2% de los cargos C-level en esas mismas industrias. Las decisiones sobre qué datos usar, qué variables medir y qué errores tolerar se siguen tomando, en su enorme mayoría, sin ellas en la sala.
El financiamiento cuenta la misma historia desde otro ángulo. En 2024, de los US$289.000 millones invertidos globalmente en capital de riesgo, solo un 2,3% —unos US$6.700 millones— fue a equipos fundadores compuestos exclusivamente por mujeres. Al ritmo actual de avance, la paridad en financiamiento de capital de riesgo llegaría recién cerca de 2065.
La inteligencia artificial no tiene sesgo propio. Tiene el sesgo de quien la entrenó, de los datos que le dieron y de quienes no estaban presentes cuando se diseñó.
No es un problema técnico. Es una decisión de diseño.
Ninguno de estos casos ocurrió porque la tecnología "todavía no estaba lista". Ocurrieron porque nadie auditó los datos de entrenamiento antes de automatizar una decisión que afecta contrataciones, créditos o diagnósticos médicos. El sesgo no es un bug que se corrige con un parche. Es el resultado directo de construir rápido y probar poco — exactamente lo contrario de lo que debería ser el criterio por defecto al construir cualquier sistema, con o sin IA de por medio.
Esto no se resuelve con una cuota ni con una declaración de principios en el sitio web de una empresa. Se resuelve auditando qué datos entrenan un sistema, probando cómo se comporta con las personas que el dataset original no representó, y —sobre todo— teniendo a esas personas en la sala donde se toman las decisiones de diseño. La representación no es un gesto simbólico. Es la única forma real de encontrar el sesgo antes de que lo encuentre alguien a quien ya le hizo daño.
Fuentes: Gender Shades, Buolamwini & Gebru (MIT, 2018) · Reuters, Amazon (2018) · WEF, Global Gender Gap Report (2025) · Founders Forum Group, Women in VC (2025) · CNBC, investigación NYDFS sobre Apple Card (2019)