On Tech, Feminism and Social Justice

By Paz Peña O.

This was a five-minute intervention at the IGF 2020 Pre-Event #32 “Environmental justice and an anti-extractive internet: impacting policy through developing a feminist principle” organized by the Association for Progressive Communications (APC).

Gato.Earth is an independent project where two friends (myself and activist and scholar Danae Tapia), who live on two different continents, send each other letters of love and friendship and, of course, reflections on the intersections between the current environmental crisis and digital technologies. This is a monthly newsletter in English and Spanish, and you all can subscribe for free on our website, by the way.

Regarding the idea to build a feminist principle for an anti-extractive internet, and what that could mean for advocacy spaces as the IGF (Internet Governance Forum), I would like to add three thoughts to the discussion.

ONE: Data extractivism is a dominant business today on the internet, it is also an ideological model in hegemonic digital technologies, and it is deeply related to colonialism. And I'm referring to the ideological consideration that transforms personal data into some kind of raw material at the disposal of capital (“personal data is the new oil”). But we're also talking about thinking in personal data as a no man's land: where the strongest can reclaim that territory without any consideration, almost as a “natural right.”

In other words, data extractivism is, in a way, human extractivism. So if we really want to respond against this extractive internet, we have to examine colonial power relationships in the whole ecosystem of the internet. The dominance of the global north, the dominance of white men and white women, the dominance of certain professions on the advocacy spaces, the supremacy of a social class, among others, and more importantly, we have to take action on that.

TWO: As in the capitalist industry, in data extractivism there are also “sacrifice zones.” For those who don't know, a sacrifice zone is a geographic area that has been permanently impaired by environmental damage, and of course, these areas are commonly where poor people live. The sacrifice zones in the digital territory are also present for the less privileged. For example, let's think about how poor people's data is extracted for training Artificial Intelligence; or how Artificial Intelligence is applied in anti-poverty programs without any human rights consideration.

So we have to understand that extractive internet is full of sacrifice zones that we rarely talk about in advocacy spaces.

THREE: There is another common ideological operation for the extractive internet: we ignore the material implications of what we call “the digital territory”. We rarely talk about the labor conditions of technological workers, the exploitative relationships with capital, and even more important, the impact of the internet on the environment.

And here, I want to highlight two things regarding the neoliberal co-opt of the “sustainable development” concept:

a) Big tech companies must respond to the demands of using green technologies and have 0 carbon emissions in the climate crisis context. That's OK. But we have to be very careful about big tech's greenwashing.

b) We also have to be super careful about green technologies, which is a “technosolucionism” used to avoid thinking in other economic models. Those green energies are being produced with the same extractivist logic as oil.

So in advocacy spaces as the IGF, we need to be very aware of human rights not only when we turn on our technological devices, and we must start taking into consideration the whole complex material implications of those technologies in our environment.

Thanks!

Por Paz Peña O.

English version

Esta presentación fue hecha en el evento anual de Women in AI Ethics (WAIE). El nombre original de la presentación era “Artificial Intelligence in Latin America: A Feminist Approach to Ethical Principles”

Tengo unos minutos para intervenir. Mi escasa capacidad para improvisar en español, que se acentúa en inglés, me llevó a escribir mi intervención sobre los aspectos que quiero discutir aquí, en esta breve presentación, sin perder mucho tiempo.

Como investigadora independiente, estoy asociada con Coding Rights, una ONG brasileña que trabaja en la intersección entre tecnología y feminismo, para realizar una investigación conjunta sobre las perspectivas feministas críticas de América Latina sobre Inteligencia Artificial (IA).

Entre sus objetivos, estamos trabajando en mapear el uso de herramientas algorítmicas en la toma de decisiones por parte de los Estados de América Latina para determinar la distribución de bienes y servicios, incluyendo educación, servicios de salud pública, vigilancia policial y vivienda, entre otros.

Hay al menos tres características comunes en estos sistemas utilizados en América Latina que son especialmente problemáticas dado su potencial para aumentar la injusticia social en la región.

Examinar estas características también nos permite pensar críticamente sobre las perspectivas hegemónicas sobre ética que hoy dominan la conversación sobre Inteligencia Artificial.

Una característica es la identidad impuesta a las personas y poblaciones pobres. La mayoría de estos sistemas están diseñados para controlarlas. Cathy O'Neil (2016, Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy) lo dijo antes al analizar los usos de la IA en Estados Unidos, ya que estos sistemas “tienden a castigar a los pobres”. Ella explica (traducción mía):

Esto se debe, en parte, a que están diseñados para evaluar a un gran número de personas. Se especializan en productos a granel y son baratos. Eso es parte de su atractivo. Los ricos, por el contrario, a menudo se benefician de los aportes personales. [...] Los privilegiados, veremos una y otra vez, son procesados más por personas, las masas, por máquinas.

En esta cuantificación del yo, de los cuerpos (entendidos como socialmente construidos) y de las comunidades, no hay lugar para re-negociación. En otras palabras, la datificación reemplaza la “identidad social” por la “identidad del sistema” (Arora, P., 2016, The Bottom of the Data Pyramid: Big Data and the Global South).

La segunda característica de estos sistemas que refuerza la injusticia social es la falta de transparencia y rendición de cuentas.

Ninguno de ellos se ha desarrollado mediante un proceso participativo de ningún tipo, ya sea con especialistas o, lo que es más importante, con las comunidades afectadas. En cambio, los sistemas de Inteligencia Artificial parecen reforzar las políticas públicas de arriba hacia abajo, donde las personas se convierten para los gobiernos en “beneficiarios” o “consumidores”.

Finalmente, estos sistemas se diseñan y aplican en lo que llamaríamos “consorcios neoliberales”, donde los gobiernos desarrollan o compran sistemas de IA al sector privado o a las universidades. Esto merece una mayor investigación, ya que los valores neoliberales como la lógica extractivista de producción parecen impregnar la forma en que se diseñan los sistemas de IA en esta parte del mundo, no solo por las empresas sino también por las universidades financiadas con fondos públicos dedicados a la “innovación” y la mejora del comercio.

Estas tres características de los sistemas de IA profundizan los problemas estructurales de injusticia e inequidad en nuestras sociedades. La pregunta es ¿por qué, desde hace algunos años, creemos que el conjunto de principios éticos “solucionará” los problemas estructurales de nuestra sociedad que se reflejan en la IA?

Desde una perspectiva feminista y decolonial, basada en la experiencia latinoamericana, nos interesan al menos tres aspectos del debate ético en Inteligencia Artificial:

1. En un contexto neoliberal de desarrollo tecnológico, es preocupante que se promuevan principios éticos como forma de autorregulación, desplazando los marcos de derechos humanos que son principios éticos aceptados por muchos países del mundo y que son exigibles por ley. En un mundo donde la aplicación y el respeto de los derechos humanos son cada vez más difíciles, esto es simplemente inaceptable.

2. La discusión de los principios éticos, que es básicamente una práctica situada en un contexto cultural, está dominada por el Norte Global. Siempre cuento esta anécdota: en 2018, en una famosa conferencia internacional, uno de los panelistas -un hombre blanco- dijo que los principios éticos en IA podrían basarse en documentos universalmente reconocidos como la Constitución de los Estados Unidos de América (!). Hay que revisar los 74 conjuntos de principios éticos que se publicaron entre 2016-2019 para ver, entonces, qué voces dominan y, más importante aún, qué voces son silenciadas.

3. Gran parte de la discusión sobre principios éticos da por sentado que todo uso de la Inteligencia Artificial es bueno y deseable. La exacerbación de la injusticia social que pueden causar es solo un error que podría resolverse mediante el uso correcto de un conjunto de principios éticos diseñados en el Norte Global.

Los principios éticos son fundamentales para cualquier práctica humana con nuestro entorno. Pero un principio ético que termina replicando relaciones opresivas es simplemente un blanqueo de prácticas sociales tóxicas.

El marco del feminismo crítico sirve en gran medida para comprender esto. Como dijo Audre Lorde en una conferencia en 1979, “las herramientas del maestro nunca desmantelarán la casa del maestro”.

Entonces, ¿cómo continuamos?

Debemos trabajar por una ética feminista y emancipadora de la tecnología. En otras palabras, sugiero al menos basar nuestras acciones en tres pilares:

1. Rechazar la ilusión, instalada principalmente en Silicon Valley desde la década de 1990, de que la innovación tecnológica es siempre una mejora independiente de sus consecuencias sociales. En otras palabras, debemos desmantelar esa idea patriarcal y hegemónica de “A menos que estés rompiendo cosas, no te estás moviendo lo suficientemente rápido”, como Mark Zuckerberg proclama mientras el mundo se está cayendo a pedazos.

2. Debemos entender que, en muchos casos, la Inteligencia Artificial eficienta un estado peligroso del capitalismo en el que -en palabras de Isabelle Stengers-, existe una expropiación sistemática de lo que nos hace capaces de pensar juntos los problemas que nos preocupan. En otras palabras, debemos negarnos a aceptar el exterminio de espacios de deliberación social por la automatización de decisiones. Reclamemos nuestro derecho a pensar juntos en el mundo. Reclamemos nuestro derecho a ser seres políticos.

3. Quizás lo más urgente sea deconstruir la ideología que asume que la Inteligencia Artificial puede resolver cualquier problema social complejo y, como consecuencia imperativa, cuestionar que el destino de una persona pueda definirse exclusivamente mediante decisiones binarias automatizadas basadas en un conjunto de datos personales de su pasado.

Eso va en contra de la esencia misma de la dignidad humana y, sobre todo, en contra de cualquier idea de justicia social cuando, todas sabemos aquí, que los sistemas sociales actuales terminarán clasificando y definiendo el destino solo de los menos privilegiados.

Mujeres del mundo: no solo necesitamos arreglar las fallas de un software, debemos desafiar las estructuras desiguales de nuestras sociedades para solo entonces tener una Inteligencia Artificial justa.

¡Gracias!

By Paz Peña O.

Versión en castellano

This presentation was delivered at the Women in AI Ethics (WAIE) Annual Event 2020. The original name was “Artificial Intelligence in Latin America: A Feminist Approach to Ethical Principles”

I have a few minutes to intervene. My feeble ability to improvise in Spanish, which is accentuated in English, led me to write down my intervention about the aspects that I want to discuss here, in this short presentation, without wasting much time.

As an independent researcher, I am associated with Coding Rights, a Brazilian NGO working in the intersection on technology and feminism, to do joint research on critical feminist perspectives from Latin America on Artificial Intelligence.

Among its objectives, we're working on mapping the use of algorithmic decision-making tools by States in Latin America to determine the distribution of goods and services, including education, public health services, policing, and housing, among others.

There are at least three common characteristics in these systems used in Latin America that are especially problematic given their potential to increase social injustice in the region.

Examining these characteristics also allows us to think critically about the hegemonic perspectives on ethics that today dominate the Artificial Intelligence conversation.

One characteristic is the identity forced onto poor individuals and populations. The majority of these systems are designed to control poor populations. Cathy O'Neil (2016, Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy) said it before analyzing the usages of AI in the United States, as these systems “tend to punish the poor.” She explains:

This is, in part, because they are engineered to evaluate large numbers of people. They specialize in bulk, and they're cheap. That's part of their appeal. The wealthy, by contrast, often benefit from personal input. [...] The privileged, we'll see time and again, are processed more by people, the masses by machines.

This quantification of the self, of bodies (understood as socially constructed) and communities, has no room for re-negotiation. In other words, datafication replaces “social identity” with “system identity” (Arora, P., 2016, The Bottom of the Data Pyramid: Big Data and the Global South).

The second characteristic of these systems that reinforces social injustice is the lack of transparency and accountability.

None of them have been developed through a participative process of any type, whether including specialists or, even more important, affected communities. Instead, AI systems seem to reinforce top-down public policies from governments that make people “beneficiaries” or “consumers”.

Finally, these systems are developed in what we would call “neoliberal consortiums,” where governments develop or purchase AI systems developed by the private sector or universities. This deserves further investigation, as neoliberal values as the extractivist logic of production seem to pervade the way AI systems are designed in this part of the world, not only by companies but also by universities funded by public funds dedicated to “innovation” and improving trade.

These three characteristics of AI systems deepen structural problems of injustice and inequity in our societies. The question is why, for some years now, do we believe that the set of ethical principles “will fix” the structural problems of our society that are reflected by AI?

From a feminist and decolonial perspective, based on Latin America's experience, we are concerned in at least three aspects of the ethics debate in Artificial Intelligence:

1. In a neoliberal context of technology development, it is worrying that ethical principles are promoted as a form of self-regulation, displacing the human rights frameworks that are ethical principles accepted by many countries in the world and which are enforceable by law. In a world where the enforcement and respect of human rights are becoming increasingly difficult, this is simply unacceptable.

2. The ethical principles discussion, which is basically a situated practice in a cultural context, is dominated by the Global North. I always tell this anecdote: in 2018, at a famous international conference, one of the panelists – a white male – said that ethical principles in AI could be based on universally recognized documents such as the Constitution of the United States of America (!). You have to review the 74 sets of ethical principles that were published between 2016-2019 to see, then, which voices dominate and, more importantly, which voices are silenced.

3. Much of the discussion on ethical principles take for granted that all use of Artificial Intelligence is good and desirable. The exacerbation of social injustice that they can cause is only a bug that could be solved by the correct use of a set of ethical principles designed in the Global North.

Ethical principles are fundamental to any human practice with our environment. But an ethical principle that ends up replicating oppressive relationships is simply a whitewashing of toxic social practices.

The framework of critical feminism serves greatly to understand this. As Audre Lorde said at a conference in 1979, “the master's tools will never dismantle the master's house.”

So how do we continue?

We must work towards a feminist and emancipatory ethics for technology. In other words, I suggest at least basing our actions on three pillars:

1. Reject the illusion, installed mainly in Silicon Valley since the 1990s, that technological innovation is always an improvement regardless of its social consequences. In other words, we must dismantle that patriarchal and hegemonic idea of ​​”Unless you are breaking stuff, you aren't moving fast enough,” as Mark Zuckerberg proclaims as the world is breaking apart.

2. We must understand that, in many cases, Artificial Intelligence improves a dangerous state of capitalism in which – using Isabelle Stengers' words –, there is a systematic expropriation of what makes us capable of thinking together about the problems that concern us. In other words, we must refuse to accept the extermination of spaces for social deliberation because of decision automation. Let's claim our right to think about the world together. Let's claim our right to be political beings.

3. Perhaps the most urgent thing is to deconstruct the ideology that assumes that Artificial Intelligence can solve any complex social problem and, as an imperative consequence, to challenge that a person's destiny could be defined exclusively by automated binary decisions based on a set of personal data from the past.

That goes against the very essence of human dignity and, above all, against any idea of ​​social justice when we all know here, that the current social systems will end up classifying and defining the destiny only of the less privileged people.

Women of the world: we don't need just to fix software, we must challenge our societies' inequal structures to only then have a fair Artificial Intelligence.

Thanks,

Apuntes sobre los desafíos de la violencia de género online inspirados por el financiamiento de Epstein a la ciencia y la tecnología.*

Por Paz Peña O.

Hay un elefante en la habitación. En ésta y en todas las habitaciones en Santiago o en otras ciudades de Chile y el mundo donde nos reunimos, cada tanto, a discutir sobre los diferentes matices de la violencia de género que ocurre bajo los soportes digitales. Hay un elefante invisible que apenas se deja sentir por los presentes y que con suerte nos libera espacio para nuestra presencia.

Como soy muy mala para improvisar y porque tampoco son tan comunes las oportunidades para hablar del tema y, por sobre todo, porque la fuerza de las últimas noticias demuestran elocuentemente los problemas inherentes de la industria digital dominante, quisiera tomarme unos minutos para hablarles de uno de los elefantes más importantes de la discusión mundial sobre violencia de género online.

Un elefante recorre Silicon Valley: es el fantasma de la misoginia.

En los últimos días, sendos reportajes en los medios escritos más importantes de Estados Unidos, han puesto en portada la estrecha relación que el mundo de la ciencia y la tecnología tuvo con el millonario Jeffrey Epstein.

Para las personas que no saben quién es este personaje, a mediados de este año, Epstein fue encarcelado y acusado por la fiscalía de Estados Unidos de gestionar una “vasta red” de mujeres menores de edad a las que presuntamente pagaba por servicios sexuales en sus mansiones de Manhattan y Florida. El modus operandi era que tres de sus empleados gestionaban sus encuentros sexuales con mujeres expresamente menores de edad, que provenían de hogares pobres o familias desestructuradas, las cuales eran contratadas para dar masajes pero que, pronto, terminaban siendo abusadas por Epstein y, a veces, por sus otros amigos millonarios.

Alrededor de 80 fueron los testimonios de mujeres recabados por la fiscalía. Epstein arriesgaba una pena de hasta 45 años pero, el 10 de agosto de este año, fue encontrado suicidado en su celda.

Ya en el 2008, Epstein había eludido los cargos federales por estos crímenes, gracias a un controversial acuerdo con la fiscalía, en el que aceptaba 13 meses de cárcel y ser inscrito en el registro federal de delincuentes sexuales.

Epstein financiaba de forma millonaria a científicos y centros de innovación y tecnología en Estados Unidos. De hecho, alguna vez dijo “solo tengo dos intereses: ciencia y coño” (haciendo una traducción al español castizo de science and pussy). Así, por ejemplo, era común que hiciera reuniones con científicos en su isla privada, como la que hizo sobre inteligencia artificial en el 2002.

Este financiamiento continuó en pleno 2008, cuando ya él mismo había reconocido ser un agresor sexual. Así, nos enteramos hace algunos días que el prestigioso MIT Media Lab del Instituto de Tecnología de Massachusetts, a través de su director Joi Ito, siguió recibiendo sus millonarias donaciones, con el forzado truco de hacerlas anónimas, además de invitarlo al campus (a pesar de su historial de agresor sexual) y consultarle del uso de los fondos.

Para las personas que no conocen el MIT Media Lab, recordar que es el laboratorio de diseño y nuevos medios fundado por Nicholas Negroponte, el mismo que creó luego ese programa marketinero que, entre colonialismo y tecnosolucionismo, buscaba brindar One Laptop Per Child. Para muchos el MIT Media Lab responde al brazo “académico” de Silicon Valley, que representa la denominada Tercera Cultura, la que busca juntar artistas, científicos, empresarios y políticos para crear humanidades con base científica.

Según los documentos obtenidos por el periodista del New Yorker, Ronan Farrow (sí, el mismo que destapó el escándalo de Harvey Weinstein que inició la ola #MeToo en Estados Unidos), Epstein sirvió como intermediario entre el MIT Media Lab y posibles donantes como el filántropo Bill Gates (sí, el de Microsoft) de quien aseguró USD 2 millones, y el inversor de capitales privados, Leon Black, de quien aceptó USD 5.5 millones. El esfuerzo por ocultar la identidad de Epstein era tal que Joi Ito se refería al financista como Voldemort, “el que no debe ser nombrado”.

Este escándalo en el MIT Media Lab ha llevado a que la discusión sea, increíblemente, sobre si la ciencia y la tecnología se puede o no financiar con dinero de fuentes “dudosas”. ¿Sobre las víctimas? Escuetas palabras de buena crianza. Porque de eso se trata el mundo Silicon Valley, finalmente: financiamiento por capitales de riesgo, un modelo que los centros de innovación como MIT Media Lab parecen aceptar sin chistar. El dinero al que mejor venda disrupción, innovación y todas esas cosas que se dicen en las Ted Talks.

Lawrence Lessig, amigo de Joi Ito, reconocido académico y creador de las licencias Creative Commons, escribió un largo artículo donde defiende a Ito -que alguna vez describió a Epstein diciendo que era “realmente fascinante”- diciendo que Joi Ito estaba convencido de que Epstein se había reformado y que era lo suficientemente brillante para darse cuenta de que podía perderlo todo. Más aún, Lessig supone que las donaciones de Epstein aceptadas por el MIT Media Lab no son un lavado de imagen para Epstein, pues Ito las forzó a ser anónimas. En su largo artículo no hay ninguna reflexión por las mujeres menores de edad víctimas de Epstein porque, de repente para el mundo dominante de Silicon Valley y de su brazo académico, la única víctima de Epstein es Ito.

Recuerdo haber terminado esa columna de Lessig, académico cuya obra me introdujo al mundo de la cultura libre, totalmente pasmada. Evgeny Morozov, académico e investigador, describió mejor mi sentimiento en una columna:

“No es raro que lo intelectuales sirvan como idiotas útiles para los ricos y los poderosos, pero, bajo La Tercera Cultura, esto se lee como un requisito de trabajo”.

Meredith Whittaker, científica investigadora de la Universidad de Nueva York, cofundadora y codirectora del AI Now Institute, tuiteó a propósito de esta deriva en la conversación sobre Epstein y el MIT Media Lab algo muy significativo:

“Las contorsiones mentales de los #ChicosListos oficiales de la tecnología, usando párrafos para decir lo que se podría en una sola oración: que el abuso y la exclusión de mujeres y niñas es un daño colateral aceptable en la búsqueda de la INNOVACIÓN. La crisis de diversidad en la tecnología no es una sorpresa”.

Estas simples palabra son, justamente, el elefante en Silicon Valley que todo el mundo sabe pero que siempre es doloroso y decepcionante aceptar: los cuerpos de mujeres y niñas, la integridad de sus vidas como sujetos y como parte de comunidades, no importa.

No existen, ni siquiera en una discusión que las atañe directamente como la de Epstein. No está en la ecuación de la innovación, salvo como un add-on que se baja de “la nube” y que trata de parchar errores que cuestan salud mental, vidas y hasta democracias.

¿Que el modelo del engagement ha dado pie a intervenciones dirigidas en periodo de elecciones? Ups, pues hagamos otro algoritmo que lo resuelva.

¿Que las decisiones de los sistemas de inteligencia artificial pueden perjudicar más a personas por raza y clase social? Ups, nos reuniremos en San Francisco a hacer unos principios éticos.

¿Que se han dado cuenta con el escándalo de Cambridge Analytica que explotamos sin permiso sus datos personales para venderlos a quien se nos plante y perfilarlos, clasificarlos y valorarlos sin ninguna transparencia? Ups, que ahora van a tener más botones de control de privacidad y asunto resuelto.

Los add-ons son el costo colateral con los que Silicon Valley trabaja: como Joi Ito dice en una de sus charlas Ted, en el vértigo de las tecnologías digitales del “despliega o muere” (deploy or die), no hay espacio para la reflexión crítica sobre los efectos de esas tecnologías desplegadas. Para Ito, las tecnologías digitales son la visión personal de un individuo emprendedor, aquí y ahora, no la consecuencia de una reflexión de una comunidad diversa.

Lo mismo ocurre con la violencia de género. Todos los escuetos avances que se han logrado con las plataformas son en forma de add-on.

Y QUE NO QUEDEN DUDAS. Que si hoy las grandes plataformas respondan en algo a actos de violencia de género, es solo gracias a la presión de las comunidades de feministas organizadas. Ha sido una lucha de años, de un nivel de desigualdad tremendo, con un abandono completo por parte de los Estados, para lograr que las plataformas transnacionales atiendan en un porcentaje mínimo las necesidades de las personas víctimas de nuestro continente.

Pero ocurre que, en un mundo de adds-on -donde pronto inventarán uno para saber si un donante se reformó o no de ser un predador sexual y, ¡santo remedio!– a veces el elefante enciende todas las luces y es simplemente imposible no verlo en cualquier sala.

El escándalo MIT Media Lab / Epstein que, por lo demás, será muy pronto olvidado, a, al menos, lanzado unos rayos de claridad para hacer esta pequeña presentación hoy sobre los desafíos de la violencia de género online en Chile y, me atrevo, en muchos otros países de América Latina:

• Sí, necesitamos políticas públicas que, más allá del punitivismo penal, se conecten con la amplia agenda de derechos de las mujeres y de género para comprender mejor el fenómeno y trabajar en distintas dimensiones un problema altamente complejo, que ataca muy diversamente dependiendo del punto de vista interseccional.
• Sí, necesitamos una mirada de derechos humanos a la violencia de genero online, tanto al comprender su daño, como al pensar en respuestas que, por ejemplo, no afecten a un vector fundamental de la libertad de expresión como es el anonimato.

Y sí, estamos en un sistema patriarcal que ya es de facto una imposición violenta, donde la “violencia de género” no es una excepción a la regla. Cómo no reconocerlo, si el caso Epstein-MIT Media Lab es una muestra más de que hay cuerpos que no importan.

Por eso hay que rescatar la potencia creativa y emancipatoria del feminismo para pensar y desarrollar una tecnología digital distinta y colectiva. No necesitamos necesariamente más mujeres, necesitamos más feminismo en la tecnología. Necesitamos una tecnología que deje de descansar, como si nada, sobre la destrucción de cuerpos que no importan, como podrían ser los de bio mujeres y niñas, queers y trans.

Escándalo tras escándalo, el poder de vender espejitos de la industria cultural de Silicon Valley es cada vez menos eficaz. En ese vacío creciente, hay una latencia que puede ser pura creatividad para construir tecnologías digitales y usos emancipatorios que, de verdad, enfrenten la misoginia y el odio con el fragor del feminismo del sur.

Muchas gracias.

:::::

*Texto escrito a propósito del conversatorio “Violencia de género en línea: diagnóstico y desafíos”

A feminist approach to consent in digital technologies

By Paz Peña and Joana Varon

It’s strange to think that two of the most important discussions today are around the same concept: consent. In one hand, the whole #MeToo movement has helped to resurface in the public opinion an old and never overcome debate on sexual consent, and in the other, the political scandal of Facebook–Cambridge Analytica has demonstrated (again) the futile exercise to consent on the use of our data in datafied societies dominated by a handle of transnational data companies.

Nevertheless, while these two discussions are happening at the same time, bridges between them are almost nonexistent. Moreover, when we talk about our sexual practices mediated by platforms (sexting, dating apps, etc), the discussion on how these two types of consent collide and what complexities come after that are almost always ignored. For example, in the policy debate on NCII (non-consensual dissemination of intimate images), the lack of consent is either almost entirely seen as a sexual offense or as a mere problem of data protection and privacy.

In order to shed a light on the matter, we are launching today the research “Consent to our Data Bodies: Lessons from feminist theories to enforce data protection”. The goal was to explore how feminists views and theories on sexual consent can feed the data protection debate in which consent — among futile “Agree” buttons — seems to live in a void of significant meaning. Envisioned more as a critical provocation than a recipe, the study is an attempt to contribute to a debate on data protection, which seems to return over and over again to a liberal and universalizing idea of consent. This framework has already proved to be key for abusive behaviors by different powerful players, ranging from big monopolistic ICTs companies, like Facebook, to Hollywood celebrities and even religious leaders, such as the recent case of João de Deus, in Brazil.

On the other hand, feminist debates made it is clear that the liberal approach of individuals as autonomous, free and rational subjects is problematic in many ways, especially in terms of meaningful consent: this formula does not consider historical and sociological structures where consent is exercised. In this sense, a very rich question to pose for the data protection debate from a feminist perspective is “who has the ability to say no?”

In this context, Perez considers something fundamental: “it’s not just about consent or not, but fundamentally the possibility of doing so.” Also in this regard, it seems interesting to recall what Sara Ahmed (2017) says about the intersectional approach towards an impossibility of saying “no”: “The experience of being subordinate — deemed lower or of a lower rank — could be understood as being deprived of no. To be deprived of no is to be determined by another’s will”.”

If consent is a function of power, not all the players have the ability to negotiate nor to reject the conditions imposed by the Terms of Services (ToS) in platforms. In this framework, beyond “Agree” to the usage of our personal data, what most of people do is simply “Obey” the company’s will. Therefore, confronting the fantasy of digital technologies functioning as vehicles of empowerment and democracy, what we have are data societies where control is validated by a legal contract and a bright button of agreement.

The liberal framework of consent in data protection has been under scrutiny by important privacy scholars. Helen Nissenbaum asks for quitting the idea of “true” consent and, at the end, stop thinking on consent as a measure of privacy. She makes a call to drop out the simplification of online privacy and adopt a more complex context. Julie E. Cohen has a very similar approach. For her, to understand privacy simply as an individual right is a mistake:

The ability to have, maintain, and manage privacy depends heavily on the attributes of one’s social, material, and informational environment” (2012). In this way, privacy is not a thing or an abstract right, but an environmental condition that enables situated subjects to navigate within preexisting cultural and social matrices (Cohen, 2012, 2018).

From a contextual integrity framework to condition-centered frameworks, among others, the call of some of these scholars is to dismiss the liberal trap of “Notice and Consent” as a universal legitimating condition for data protection, and instead to protect privacy in the design of the platform rather than in the legal contracts.

Sadly, meanwhile legal contracts are still a mechanism for social control, privacy and feminist activists should be pushing for strong changes in both ways: design and consent in ToS. In this sense, we have sketched a “matrix of qualifiers of consent from body to data” in order to start thinking creatively and collectively ways to ensure strong and contextually meaningful data protection standards for all users.

The matrix shows that while some of the qualifiers are overlapping in the debates of both fields, the list of consent qualifiers present in data protection debates, such as in the European General Data Protection Regulation (GDPR), taken as a model for many privacy aware jurisdictions, falls short, disconsider some structural challenges and loosely compiles all qualifiers in one single action of clicking in a button.

What would be technical and legal alternatives if we we are up to think and design technologies that allow for tangible expression of all these qualifiers listed by feminist debates and, more important, consider that there are no universal norms if there are different conditions and power dynamics among those who consent?

We hope that the some of the finding from this research (available bellow) are just the beginning of a long and exciting feminist journey to collectively build a feminist framework for consent on the Internet. #FeministInternet

:::::

Full version of the research “Consent to our Data Bodies: Lessons from feminist theories to enforce data protection”, produced by Coding Rights with support of Privacy International and funding from the International Development Research Center is available here: https://codingrights.org/docs/ConsentToOurDataBodies.pdf