El uso de algoritmos predictivos en el diseño de políticas públicas causa polémica tanto en la argentina como en otros países. Discriminación y protección de los datos personales son las principales preocupaciones para quienes buscan regular estos programas.
El 40 por ciento de los niños y niñas que residen en la ciudad de Santiago de Chile tiene menos del 50 por ciento de probabilidad de acceder a escuelas con un nivel adecuado de lengua y matemática. En la capital chilena y en sus alrededores, los establecimientos educativos con un alto estándar están concentrados en el centro y en los barrios de altos ingresos y la oferta es insuficiente en los lugares en los que vive la población más vulnerable.
Ese fue el diagnóstico al que llegó un estudio de la Universidad de Chile a partir de trabajar con datos abiertos y Big Data y recurrir a tecnologías de Microsoft. El informe, que creó el Índice de Acceso a Escuelas Efectivas, fue realizado con el objetivo de generar, utilizando Machine Learning, un mapa para pensar políticas educativas en el país vecino. No es el único caso que tomó las posibilidades que brinda la inteligencia artificial y las implementó para diseñar políticas públicas.
También Salta lo hizo recientemente. En medio del debate por la legalización del aborto en el Congreso, el gobernador salteño, Juan Manuel Urtubey, contó que la provincia utiliza un mecanismo basado en Machine Learning para predecir y prevenir el embarazo adolescente. Dijo que el sistema —un plan piloto en el que trabajan Unicef, Microsoft y las fundaciones Conin y Techo para mi país— permite anticipar si una niña tiene un 86 por ciento de probabilidades de quedar embarazada cuando llegue a la adolescencia. El programa procesa información de la Anses y del Ministerio de Desarrollo Social y trata de analizar situaciones de riesgo para la deserción escolar y el embarazo adolescente.
Sin embargo, el anuncio de que Salta sería la primera provincia en recurrir a la inteligencia artificial para diseñar políticas públicas provocó más polémica que elogios, especialmente porque poco se sabe sobre cómo se realizó el programa.
Una solución opaca
Valeria Milanes es abogada especialista en Derecho Informático y directora del área Digital de la Asociación por los Derechos Civiles (ADC). Para ella, el uso de algoritmos en el diseño de políticas públicas en la Argentina “no está ni en pañales”.
Sin embargo hay algunos ejemplos, más allá del caso de Salta. Uno de ellos es la fórmula que otorga las vacantes en las escuelas públicas de la Ciudad de Buenos Aires, un sistema al que“todavía no le encuentran la vuelta”, según Milanes. Otro, el programa Prometea, un software para predecir la solución de expedientes jurídicos simples anunciado a fines del año pasado.
Debido a que el desarrollo de estos mecanismos todavía es incipiente, Milanes cree que no se puede decir si funcionan o no. “Lo que sí sabemos es que esto es tema de discusión en todo el mundo”, agrega.
En ese debate, aparecen varias cuestiones éticas y un reclamo principal desde las organizaciones de la comunidad digital: la adopción de estas tecnologías debe ser evaluada desde el momento cero. “Hay que preguntarse si es realmente necesario automatizar la toma de una decisión y saber cuál es el objetivo”, explica Milanes. Para ella, desde el primer momento en que se empieza a implementar una de estas estrategias hay que tener parámetros de transparencia. “En el ámbito digital, la decisión unilateral no es buena. Tiene que ser multilateral y llamar al sector técnico, a organizaciones de la sociedad civil, a la academia y al sector privado si le toca participar”, sostiene.
Eso no pasó en el caso de Salta, cuyos resultados fueron anunciados por el gobernador en TV. Del algoritmo se conoce solo una publicación en GitHub de noviembre del año pasado realizada porFacundo Davancens, desarrollador de Microsoft.
Allí, él cuenta que utilizaron Azure Machine Learning y SQL Server 2016 para crear los modelos predictivos y que contaron con información sobre la edad, el país de origen y el barrio en el que residen, entre otras variables. “Tuvimos acceso a un amplio espectro de datos. Utilizamos un dataset de más de 200.000 residentes de la ciudad de Salta con más de 12.000 mujeres de entre 10 y 19 años”, cuenta.
Basándose en ese documento, el único conocido sobre el sistema predictivo, una de las primeras instituciones en cuestionar la forma en la que se aplicó este programa fue el Departamento de Computación de la Facultad de Ciencias Exactas de la Universidad de Buenos Aires. “Los resultados reportados están fuertemente sobredimensionados. Lleva a la conclusión errónea de que el sistema de predicción funciona mejor de lo que en realidad lo hace”, se quejó la institución en un comunicado.
“Estuvo mal hecho. No es una cuestión subjetiva. Si es verdad que usaron eso (por el esquema difundido por Davancens), tenía un error”, explica Luciana Ferrer, especialista del Instituto de Investigación en Ciencias de la Computación del Conicet y una de las personas que elaboró el comunicado. Para ella, si ese trabajo se hace cuidadosamente, se puede hacer mejor. “El algoritmo tiene que ser público y no es trivial qué hacer con el resultado. Es muy peligroso si se lo usa mal”, agrega.
¿Es posible crear un algoritmo objetivo?
Más allá de las objeciones técnicas por la metodología utilizada, hay otras preocupaciones esgrimidas por las organizaciones que controlan el uso de los datos en las políticas públicas.
Una de ellas es la posibilidad de discriminación desde el mismo diseño. “El sesgo está en los datos mismos. El algoritmo aprende a discriminar en base a los datos. Uno le enseña a tener prejuicios a la máquina”, explica Ferrer.
En ese sentido, uno de los casos más emblemáticos y el que más ha encendido las alarmas es el de los Estados Unidos, cuyo sistema judicial recurre a un programa para predecir la probabilidad de reincidencia al momento de emitir una sentencia. La preocupación por ese software parte principalmente de una investigación del sitio ProPublica: el algoritmo perjudicaba a los afroamericanos y les daba mayor probabilidad de volver a cometer un crimen, incluso cuando tenían los mismos antecedentes que una persona blanca.
Las críticas no implican necesariamente que no haya que utilizar estos mecanismos. Ferrer trabaja, por ejemplo, en el reconocimiento del hablante a partir de un software. En otros países, se analiza cómo utilizar ese sistema en las cortes, para usarlo “de manera objetiva” en los casos en los que haya que peritar la voz de una persona.
Para Milanes, la adopción de soluciones tecnológicas también es una necesidad. Por un lado, estas tienen la capacidad de procesar grandes volúmenes de información que pueden optimizar las políticas públicas. Por el otro, también pueden detectar patrones.
“El tema es cómo se implementa eso. Lo advertimos en muchos aspectos: hay una adopción festiva por el solo hecho de ser tecnológicas, porque se cree que solucionarán mágicamente los problemas arraigados en la sociedad”, explica. Lo importante, coinciden las dos, es tomar los recaudos para minimizar los sesgos y las diferencias que inevitablemente se trasladan a la solución tecnológica