Cathy O´Neil –matemática- trabajó durante buena parte de su carrera en Wall Street para un Fondo de Cobertura, convencida de que «las matemáticas proporcionaban un refugio limpio del desorden del mundo real». A raíz de la crisis mundial de 2008, O´Neil detectó que ese concepto de las matemáticas se estaba distorsionando de una manera perversa al comprobar cómo se usaban en algunos campos del mundo real. Vio que muchos de los algoritmos y modelos matemáticos que se usan hoy día son Armas de Destrucción Matemática -título que da pie a este libro- que fomentan la desigualdad y la injusticia. Escribió el libro para mostrar el lado menos bueno del Big Data con la esperanza de que seamos capaces de cambiar nuestra perspectiva y manejo de las matemáticas algorítmicas.

Después de leerlo se entrevén dos mensajes claros:

  1. Los modelos predictivos nunca son neutrales y tienden a reflejar objetivos e ideologías de quiénes los crean.
  2. Los modelos matemáticos deben ser nuestras herramientas, no nuestros maestros; deberíamos ser nosotros los que dictemos cómo deben funcionar y no que nosotros funcionemos en base a lo que ellos dictaminan con sus resultados.

O´Neil demuestra que de todas las formas en las que las organizaciones usan los datos para los más diversos análisis, existe un conjunto de ellos -los denominados  por ella como Armas de destrucción matemática-  que son opacos, operan a gran escala y resultan muy dañinos para las personas. Los modelos matemáticos de pago hipotecario que desencadenaron la crisis de 2008 -«tan precisos como complejos y desastrosamente erróneos«-son el primer ejemplo del que se sirve para ilustrar el problema. A partir de ahí muestra cómo clasificaciones de profesorado, prácticas de contratación en organizaciones de recursos humanos, admisiones universitarias, evaluación de riesgo crediticio o evaluación de rendimiento laboral – y que no se pueden medirse directamente- usan poderes imperfectos que los algoritmos distorsionan indefectiblemente y de manera muy injusta. Se vale de historias de personas que han sido consideradas «indignas» de algún modo por un algoritmo. Un respetado profesor que es despedido por una puntuación baja en una herramienta de evaluación docente, el estudiante universitario que no pudo obtener un trabajo de salario mínimo en una tienda  debido a sus respuestas en un examen de personalidad, las personas cuyos límites de gasto de la tarjeta de crédito se reducen porque compran en determinadas tiendas no admitidas por el modelo… Lo peor en estos casos -reales o basados en reales- es que los algoritmos que  juzgan y determinan decisiones que nos influyen son completamente opacos e inexpugnables. La gente a menudo no tiene ningún recurso cuando el algoritmo se equivoca.
Muchas armas de destrucción masiva crean circuitos de retroalimentación que perpetúan la injusticia. Los modelos de reincidencia y los algoritmos de vigilancia productiva -por ejemplo en EEUU hay programas que envían agentes a patrullar ciertos lugares según los datos estadísticos del tipo de delito- abundan en la posibilidad de circuitos de retroalimentación nocivos. Así, un modelo de reincidencia puede preguntar sobre un primer antecedente policial  en caso de que lo haya tenido. En EEUU debido a prácticas policiales racistas como detener y registrar, es probable que las personas de color tengan antecedentes antes que las personas blancas. Si el modelo tiene en cuenta esta medida, probablemente considerará que es más probable que sea una persona negra la que ha cometido un delito por lo que son dañinos incluso más allá de su potencial para resultar un modelo racista. Así, la autora llega a demostrar lo irracional y contradictorio que puede ser un algoritmo en relación a la solvencia crediticia que un algoritmo te puede atribuir, compartiendo en el libro una estadística de Florida al respecto: los conductores impecables (sin multas o accidentes) pero con puntuación baja en relación a la solvencia o riesgo crediticio (que es de lo que se trata de medir) pagan un promedio de 1.552 $ más que un mismo conductor con excelente ratio financiero pero con, por ejemplo, una multa por conducir ebrio.

Viendo una entrevista de Dave Letterman a Barack Obama en la plataforma Netflix, el ex-presidente americano hace mención precisamente a este asunto y la tendencia perniciosa de determinados algoritmos. Los algoritmos de redes sociales -especialmente Facebook- o buscadores -Google- tienden a fomentar y enfatizar nuestras preferencias, basándose en patrones que terminan por alienar y homogeneizar gustos y tendencias. Esto hace que directamente el algoritmo de turno elimine cualquier opción diferente al que has determinado con tus interacciones – aunque solo haya sido ocasional-  A través de los datos que recopilan gracias a la continua interacción en redes sociales que hacemos diariamente, dictaminan qué cosas te gustan y cuáles no, pero en un pernicioso bucle que hace que solo te alimente y potencie con aquellas cosas de tu agrado, impidiéndote ver otros puntos de vista. Obama en esa entrevista pone un ejemplo. A raíz de los acontecimientos de la primavera árabe en la plaza Tahir, si tecleabas en Google la palabra Egipto, para un consevador americano saldrían noticias sobre los hermanos musulmanes (que sugieran conflicto, terrorismo), para un progresista la plaza Tahir y los manifestantes, y para un moderado los sitios turísticos del país.

O´Neil concluye que aunque el abanico de soluciones es más débil que la ilustración del problema, comprender lo perjudiciales que pueden resultar estos algoritmos en la manera de ofrecer sus resultados es un punto crítico sobre el que debemos empezar a trabajar como sociedad. Como apunta la autora, «la tecnología ya existe, solo nos hace falta voluntad«.

Una lectura sumamente interesante que ayudará a contraponer en su justa medida las bondades y oportunidades que la tecnología nos abre en el campo de la gestión masiva de datos.