Autonomía digital y tecnológica

Código e ideas para una internet distribuida

Linkoteca. algoritmos

Cathy O’Neil : pour une éthique des algorithmes

Imago voragine.net
• , , ,

Quel est son parcours et d’où lui est venue sa passion pour les mathématiques ? Pourquoi appelle-t-elle les algorithmes des “armes de destruction mathématiques” ? Comment ces nouveaux pouvoirs algorithmiques transforment-ils les pratiques professionnelles de la société ?

Quoi de plus neutre qu’un ordinateur ? Quoi de plus a priori objectif qu’une suite de calculs, qu’une série d’opérations mathématiques ? Quoi de plus éloigné d’une opinion finalement qu’un algorithme ? Et bien tout justement. Parce qu’ils sont programmés par des humains qui sont eux perclus de biais, parce qu’ils tentent d’objectiver des réalités qui sont plus complexes que ce que peut décrire une seule suite mathématique, parce qu’enfin derrière chaque algorithme il y a une intention et qu’une intention n’est pas neutre. Pour notre invitée du jour, les algorithmes sont devenus des weapons of math destruction, des armes de destruction mathématique.

La mathématicienne, informaticienne et activiste Cathy O’Neil est notre toute dernière invitée de l’année. Bienvenue dans la Méthode scientifique.

Foro Telos 2020. Encuentro con Cathy O´Neil

Imago voragine.net
• , , , ,

…la matemática Cathy O´Neil y la arquitecta y especialista en inteligencia artificial Angela Shen-Hsieh que han hablado de privacidad, de monopolios y modelos de negocio y de desigualdades. Un diálogo en el que Cathy O´Neil esboza nuevas normas y alternativas para el análisis, nos alerta sobre cómo los datos pueden conducir a los gobiernos a tomar medidas durante la pandemia y nos guía para comprender mejor su recopilación.

En su libro ‘Armas de destrucción matemática. Cómo el big data aumenta la desigualdad y amenaza la democracia’ (Capitán Swing, 2018), Cathy O´Neil se pregunta acerca de los riesgos éticos del big data, del uso de las matemáticas y de los algoritmos cada vez más oscuros y complejos que pueden condicionar nuestras vidas, ofreciendo una interesante visión global de cómo se podrían evitar sus dañinos efectos.

Building a Feminist toolkit to question A.I. systems

Imago voragine.net
• , , , ,
OPPRESSIVE A.I. FRAMEWORK

Feministai.net is an ongoing effort, work in progress debate that seeks to contribute to the development of a feminist framework to question algorithmic decisions making systems that are being deployed by the public sector. Our ultimate goal is to develop arguments and build bridges for advocacy with different human rights groups, from women’s rights defenders to LGBTIQ + groups, especially in Latin America to address the trend in which governments are adopting A.I. systems to deploy social policies, not only without considering human rights implications but also in disregard of oppressive power relations that might be amplified through a false sense of neutrality brought by automation. Automation of the status quo, pertained by inequalities and discrimination.

The current debate of A.I. principles and frameworks is mostly focused on “how to fix it?”, instead of to “why we actually need it?” and “for whose benefit”. Therefore, the first tool of our toolkit to question A.I. systems is the scheme of Oppressive A.I. that we drafted based on both, empirical analysis of cases from Latin America and bibliographic review of critical literature. Is a particular A.I system based on surveilling the poor? Is it automating neoliberal policies? Is it based on precarious labor and colonial extractivism of data bodies and resources from our territories? Who develops it is part of the group targeted by it or its likely to restate structural inequalities of race, gender, sexuality? Can the wider community have enough transparency to check by themselves the accuracy in the answers to the previous questions?

What is a feminist approach to consent? How can it be applied to technologies? Those simple questions were able to shed light on how limited is the individualistic notion of consent proposed in data protection frameworks.

Humanidades contra la barbarie: «Dominar los algoritmos es como dominar las armas nucleares»

Imago voragine.net
• , , ,

¿Se imaginan un gobierno que registre cómo hemos cruzado la calle o si hemos pagado con retraso una factura, para restarnos puntos del carné ciudadano gracias al cual accedemos a servicios básicos? ¿O trabajar en una empresa que pueda despedirnos de modo fulminante, porque un algoritmo ha detectado que vamos demasiado al baño y eso resta productividad? ¿Qué? ¿Otra periodista recurriendo al tópico de 1984, Un mundo feliz o Black Mirror? No. Lo primero ya sucede en China y lo segundo, en los almacenes de Amazon.

Como desgrana la matemática Cathy O’Neil en Armas de destrucción matemática (recién publicado por Capitán Swing), muchos bancos, aseguradoras y auditoras «usan algoritmos canallas» para engullir billetes y éxito empresarial, sin reparar en los daños colaterales humanos. «El problema es que los beneficios acaban actuando como un valor sustitutivo de la verdad y afectan a las personas en momentos cruciales de la vida», escribe O’Neil.

Porque, ¿de quién es la responsabilidad en caso de que el algoritmo del vehículo autómata tenga que elegir a quién salvar (y a quién no) en un accidente fortuito?

llama Marina Garcés a la emancipación frente a la servidumbre y la delegación tecnológicas. «Lo que podemos hacer, siempre, es autoorganizarnos. No sólo en el ámbito digital, sino en todos. Una sociedad incapaz de tomar decisiones en colectivo está expuesta a cualquier forma de dominación, aunque cada individuo viva en la ficción de creerse libre».