Bruselas investiga a X por la proliferación de deepfakes sexuales generados por Grok

La Comisión Europea ha abierto una nueva investigación formal contra X, la red social propiedad de Elon Musk, por el despliegue y funcionamiento de Grok, su herramienta de inteligencia artificial generativa, al considerar que la compañía podría estar incumpliendo de forma grave sus obligaciones bajo la Ley de Servicios Digitales (DSA).

La decisión llega tras semanas de polémica internacional por la proliferación de imágenes sexualizadas y desnudos generados sin consentimiento, incluidos contenidos que podrían constituir material de abuso sexual infantil, y se enmarca en una ofensiva regulatoria más amplia contra la plataforma.

Nueva investigación formal

En concreto, Bruselas investigará si X evaluó de manera adecuada y mitigó los riesgos asociados a la integración de las funcionalidades de Grok en su servicio dentro de la Unión Europea. Según la Comisión, esos riesgos no solo existían, sino que “parecen haberse materializado”, exponiendo a ciudadanos europeos a “daños graves”.

Entre ellos, la difusión de imágenes manipuladas sexualmente explícitas, la violencia de género digital y las consecuencias negativas para el bienestar físico y mental de los usuarios, con especial impacto sobre mujeres y menores.

Qué analiza Bruselas sobre Grok

La investigación se centra en dos obligaciones clave que la DSA impone a las plataformas designadas como muy grandes, una categoría en la que se incluye X.

Por un lado, la obligación de evaluar y mitigar diligentemente los riesgos sistémicos derivados de sus servicios.

Por otro, la de elaborar y remitir a la Comisión un informe de evaluación de riesgos ad hoc antes de desplegar nuevas funcionalidades que alteren de forma significativa el perfil de riesgo de la plataforma, como ha ocurrido con Grok.

Imágenes sexualizadas sin consentimiento y posible abuso infantil

Entre los elementos que preocupan a la Comisión figuran la creación y difusión de imágenes sexualizadas de mujeres reales sin su consentimiento y la generación de contenidos que podrían constituir material de abuso sexual infantil.

Bruselas considera que este tipo de prácticas encajan dentro de los riesgos sistémicos que las grandes plataformas están obligadas a anticipar y contener antes de lanzar nuevas herramientas basadas en inteligencia artificial.

Los riesgos “materializados”, según la Comisión

Paralelamente, la Comisión ha decidido ampliar la investigación que mantiene abierta desde diciembre de 2023 contra X para determinar si la compañía ha gestionado correctamente los riesgos asociados a sus sistemas de recomendación de contenidos.

Esa investigación, que ya examinaba el funcionamiento de los mecanismos de denuncia y retirada de contenidos ilegales, se extiende ahora al impacto del reciente cambio anunciado por la empresa hacia un sistema de recomendación basado en Grok.

Las obligaciones de X como gran plataforma digital

Si se confirman las sospechas, X podría haber infringido varios artículos de la DSA, en concreto los artículos 34, 35 y 42, relativos a la gestión de riesgos sistémicos y a las obligaciones de información.

La apertura de este procedimiento formal no prejuzga su resultado, pero habilita a la Comisión a adoptar medidas adicionales, incluidas decisiones de incumplimiento, medidas cautelares o la aceptación de compromisos vinculantes por parte de la empresa.

Restricciones a usuarios de pago y críticas a su eficacia

En preparación de esta investigación, Bruselas ha trabajado en estrecha colaboración con Coimisiún na Meán, el coordinador irlandés de servicios digitales, que participará formalmente en el procedimiento al tratarse del país de establecimiento de X en la Unión Europea.

A partir de ahora, la Comisión podrá recabar pruebas mediante solicitudes adicionales de información, entrevistas o inspecciones, y no descarta imponer medidas provisionales si considera que los ajustes realizados por la plataforma son insuficientes.

Una polémica con alcance internacional

La decisión llega en un contexto de fuerte presión política y social. En las últimas semanas, diversos medios y organizaciones especializadas han documentado la facilidad con la que Grok permitía generar imágenes sexualizadas de mujeres reales y de menores a partir de simples indicaciones de texto.

Según un análisis de la investigadora Genevieve Oh, la herramienta llegó a producir miles de imágenes de este tipo en apenas una hora, lo que evidenciaría un problema estructural en el diseño y los filtros del sistema.

Investigaciones y bloqueos fuera de la UE

Ante la polémica, X anunció a mediados de enero que limitaría las funciones de generación y edición de imágenes de Grok a los usuarios de pago.

Sin embargo, expertos y periodistas han señalado que la medida no elimina el problema, sino que lo desplaza, al convertir el acceso a este tipo de abusos en un servicio de pago.

Además, la aplicación independiente de Grok, fuera de X, ha seguido permitiendo la creación de imágenes problemáticas sin apenas restricciones, y los filtros introducidos pueden eludirse con relativa facilidad.

España, Irlanda y la respuesta de las autoridades

Organizaciones como Internet Watch Foundation y AI Forensics han advertido de que ya circulan por la dark web imágenes sexualizadas de menores generadas con Grok y han documentado cientos de piezas de contenido pornográfico explícito, algunas de ellas con escenas de violencia sexual.

Las víctimas incluyen tanto a mujeres anónimas como a figuras públicas, que han intentado sin éxito protegerse mediante mensajes directos a la propia IA solicitando que no manipule sus imágenes.

Antecedentes: la multa de 120 millones y el expediente de 2023

La reacción internacional ha sido desigual, pero significativa. Indonesia, Malasia y Filipinas han llegado a bloquear temporalmente el acceso a Grok por considerar que la generación de imágenes sexuales falsas sin consentimiento constituye una grave violación de los derechos humanos.

En el Reino Unido, el regulador Ofcom ha abierto una investigación formal contra X en el marco de la Online Safety Act, mientras que el primer ministro Keir Starmer ha calificado la situación de “asquerosa” y ha advertido de posibles sanciones severas.

Qué puede hacer ahora la Comisión Europea

En Irlanda, la policía nacional investiga más de 200 casos relacionados con la publicación de imágenes íntimas de menores generadas con esta herramienta.

En España, la ministra de Juventud e Infancia, Sira Rego, ha solicitado a la Fiscalía General del Estado que analice si Grok puede estar incurriendo en delitos de difusión de material de violencia sexual contra la infancia, citando como precedente una sentencia del Juzgado de Menores de Badajoz que equipara el uso de IA para crear este tipo de contenidos a la pornografía infantil tradicional.

Derechos de los usuarios y vías de denuncia

La Comisión Europea recuerda que, en diciembre, ya multó a X con 120 millones de euros por incumplimientos previos de la DSA, relacionados con el uso de diseños engañosos, la falta de transparencia publicitaria y el acceso insuficiente a datos para investigadores.

Aquella decisión se inscribe en la misma investigación iniciada en 2023 y refuerza la idea de que los problemas detectados en Grok no son un episodio aislado, sino parte de un patrón más amplio en la arquitectura y la gobernanza de la plataforma.

En palabras de la vicepresidenta ejecutiva de la Comisión para la Soberanía Tecnológica, la Seguridad y la Democracia, Henna Virkkunen, “los deepfakes sexuales de mujeres y niños son una forma violenta e inaceptable de degradación”.

La investigación, subrayó, servirá para determinar si X ha cumplido con sus obligaciones legales o si, por el contrario, ha tratado los derechos fundamentales de los ciudadanos europeos “como daños colaterales de su servicio”.

Mientras avanza el procedimiento, Bruselas recuerda que los ciudadanos tienen derecho a presentar quejas ante los coordinadores nacionales de servicios digitales y que existen mecanismos de apoyo a las víctimas de imágenes generadas por IA sin consentimiento.