Meta demanda a Joy Timeline HK por generar imágenes inapropiadas

La batalla contra las aplicaciones de desnudos generados por IA

La revolución digital ha traído consigo un sinfín de oportunidades y desafíos, especialmente en el ámbito de la inteligencia artificial (IA). En este contexto, la polémica ha resurgido en torno a aplicaciones que utilizan esta tecnología para crear imágenes sexualmente explícitas de personas reales sin su consentimiento. La última en saltar a la palestra es Crush AI, una app que ha suscitado el interés y la indignación de Meta, la empresa matriz de plataformas como Facebook e Instagram.

Un pleito en Hong Kong

Recientemente, Meta ha presentado una demanda contra Joy Timeline HK, la entidad responsable de Crush AI, en un tribunal de Hong Kong. El objetivo de esta acción legal es frenar la proliferación de anuncios que promocionan servicios de desnudos generados por IA. Según Meta, la empresa detrás de Crush AI intentó eludir sus estrictos procesos de revisión publicitaria para difundir estos anuncios. A pesar de que Meta ha eliminado repetidamente estas publicidades por infringir sus políticas, Joy Timeline HK continuó publicando nuevos anuncios, desafiando así las medidas de la plataforma.

La magnitud del problema se hace evidente: Crush AI logró publicar más de 8,000 anuncios en sus primeras dos semanas de funcionamiento en 2025.

Esta situación ha generado un debate más amplio sobre la responsabilidad de las plataformas en la regulación de contenido potencialmente dañino. Las implicaciones de la difusión de estas aplicaciones son graves, especialmente para los usuarios más jóvenes, quienes son más vulnerables a la exposición a este tipo de contenido.

La naturaleza de Crush AI

Crush AI ha sido descrita como una aplicación que utiliza IA generativa para crear imágenes de desnudos de personas sin su consentimiento. Según Alexios Mantzarlis, autor de la newsletter Faked Up, el 90% del tráfico de los sitios web de Crush AI proviene de Facebook o Instagram. Esto pone de relieve el papel central que estas plataformas juegan en la promoción de servicios que muchos consideran éticamente cuestionables.

La táctica empleada por Crush AI para eludir las restricciones de Meta ha sido ingeniosa: crearon múltiples cuentas de anunciantes y cambiaron constantemente los nombres de dominio. Muchas de estas cuentas tenían nombres como "Eraser Anyone's Clothes", seguidos de diferentes números, lo que dificultó su detección. En un momento dado, incluso llegaron a tener una página de Facebook que promovía sus servicios, lo que plantea preguntas sobre la eficacia de los controles de contenido de la plataforma.

Desafíos en la moderación de contenido

El caso de Crush AI no es un fenómeno aislado. Las plataformas de redes sociales como X y Meta están luchando para moderar el contenido generado por IA, especialmente en un entorno donde los usuarios pueden estar en riesgo, en particular los menores. Investigaciones recientes han demostrado que los enlaces a aplicaciones de desnudos generados por IA han aumentado considerablemente en plataformas como X y Reddit. En YouTube, millones de usuarios han sido expuestos a anuncios de estas aplicaciones.

A medida que las empresas tecnológicas se esfuerzan por integrar herramientas de IA en sus plataformas, también enfrentan el reto de garantizar que estas herramientas no hagan que sus entornos sean inseguros para los usuarios. La situación actual exige una revisión exhaustiva de las políticas de moderación y la implementación de nuevas tecnologías para detectar y eliminar contenido inapropiado.

A pesar de los esfuerzos realizados, la lucha por erradicar estas aplicaciones de las plataformas sigue siendo un reto monumental.

Medidas de Meta para combatir el problema

En respuesta a la creciente preocupación por el uso indebido de la IA, Meta ha anunciado una serie de medidas proactivas. En un comunicado, la compañía reveló que ha desarrollado nueva tecnología diseñada específicamente para identificar anuncios de servicios de desnudos generados por IA, incluso cuando estos anuncios no contienen desnudez explícita. Este avance tecnológico es un paso crucial en la batalla contra la explotación y el abuso en línea.

Meta también ha ampliado la lista de términos, frases y emojis que su sistema identifica como potencialmente problemáticos, lo que debería facilitar la detección y eliminación de anuncios no deseados. Desde el comienzo de 2025, la compañía ha logrado desmantelar cuatro redes distintas que promovían estos servicios, utilizando tácticas que tradicionalmente se aplican para interrumpir redes de actores malintencionados.

Colaboraciones y acciones legislativas

La lucha contra las aplicaciones de desnudos generados por IA no se limita a las acciones de Meta. La empresa también ha comenzado a colaborar con otras entidades a través del programa Lantern, una iniciativa que incluye a Google, Snap y otras empresas con el objetivo de prevenir la explotación sexual infantil en línea. Desde marzo, Meta ha proporcionado más de 3,800 URL únicas a esta red, lo que demuestra un compromiso serio con la erradicación de estos servicios dañinos.

En el ámbito legislativo, Meta ha expresado su intención de seguir apoyando legislaciones que permitan a los padres supervisar y aprobar las descargas de aplicaciones de sus hijos adolescentes. Esta iniciativa se alinea con el apoyo previo de la compañía a la Ley Take It Down en EE. UU., y sugiere que la empresa está dispuesta a colaborar con los legisladores para abordar el problema desde un enfoque más amplio.

La responsabilidad de las plataformas

El caso de Crush AI subraya la necesidad urgente de que las plataformas de redes sociales tomen medidas más efectivas para proteger a sus usuarios. Las empresas deben asumir la responsabilidad de los contenidos que se publican en sus plataformas y garantizar que se implementen controles rigurosos para prevenir el abuso. Sin embargo, esto plantea preguntas difíciles sobre la libertad de expresión y el derecho de los usuarios a compartir contenido.

La implementación de tecnología avanzada para la moderación de contenido es solo una parte de la solución. Las plataformas también deben trabajar en la educación de los usuarios, especialmente de los más jóvenes, sobre los riesgos asociados con el uso de aplicaciones y servicios en línea. Esto incluye la creación de campañas de concienciación que informen sobre los peligros de las aplicaciones de desnudos generados por IA y otros contenidos potencialmente dañinos.

Mirando hacia el futuro

A medida que la tecnología de IA continúa avanzando, es probable que la lucha contra las aplicaciones como Crush AI se intensifique. Las plataformas deben adaptarse a un panorama en constante cambio y estar preparadas para enfrentar nuevos desafíos. Esto incluye la necesidad de innovar constantemente en sus sistemas de moderación y desarrollar nuevas estrategias para abordar las amenazas emergentes.

En última instancia, la responsabilidad recae tanto en las plataformas como en los usuarios para crear un entorno en línea más seguro. La colaboración entre empresas, legisladores y organizaciones de la sociedad civil será crucial para abordar este problema de manera integral. A medida que la batalla contra las aplicaciones de desnudos generados por IA avanza, será interesante observar cómo evolucionan las políticas y prácticas en este ámbito.