Nuevas directrices de Google Play para aplicaciones de IA

Google emite nuevas directrices para desarrolladores de aplicaciones de IA en Google Play

Google ha anunciado hoy nuevas directrices para los desarrolladores que construyen aplicaciones de IA distribuidas a través de Google Play, con la esperanza de reducir el contenido inapropiado y prohibido. La empresa afirma que las aplicaciones que ofrecen funciones de IA deberán evitar la generación de contenido restringido, que incluye contenido sexual, violencia y más, y tendrán que ofrecer una forma para que los usuarios puedan señalar contenido ofensivo que encuentren. Además, Google dice que los desarrolladores deben "probar rigurosamente" sus herramientas y modelos de IA para garantizar que respeten la seguridad y la privacidad de los usuarios.

Mayor control sobre las aplicaciones de IA

Además, Google está tomando medidas enérgicas contra las aplicaciones cuyos materiales de marketing promueven casos de uso inapropiados, como aplicaciones que desnudan a las personas o crean imágenes desnudas no consensuadas. Si la publicidad dice que la aplicación es capaz de hacer este tipo de cosas, puede ser prohibida en Google Play, independientemente de si la aplicación es realmente capaz de hacerlo.

Problemas crecientes con aplicaciones de desnudo de IA

Estas directrices siguen a una creciente proliferación de aplicaciones de desnudo de IA que se han estado promocionando a través de las redes sociales en los últimos meses. Un informe de abril de 404 Media, por ejemplo, encontró que Instagram estaba mostrando anuncios de aplicaciones que afirmaban usar IA para generar desnudos deepfake. Una aplicación se promocionaba usando una imagen de Kim Kardashian y el lema "desnuda a cualquier chica gratis". Apple y Google retiraron las aplicaciones de sus respectivas tiendas de aplicaciones, pero el problema sigue siendo generalizado.

Aplicaciones de IA inapropiadas en las escuelas

Las escuelas de todo Estados Unidos informan de problemas con los estudiantes que comparten desnudos deepfake de otros estudiantes (y a veces profesores) para acosar e intimidar, junto con otros tipos de contenido inapropiado de IA. El mes pasado, un deepfake racista de un director de escuela llevó a un arresto en Baltimore. Peor aún, el problema incluso está afectando a estudiantes de secundaria, en algunos casos.

Google busca mantener aplicaciones inapropiadas fuera de Google Play

Google afirma que sus políticas ayudarán a evitar que las aplicaciones de Google Play presenten contenido generado por IA que pueda ser inapropiado o dañino para los usuarios. La empresa señala a su Política de Contenido Generado por IA existente como un lugar para consultar sus requisitos para la aprobación de aplicaciones en Google Play. La empresa dice que las aplicaciones de IA no pueden permitir la generación de ningún contenido restringido y también deben dar a los usuarios una forma de señalar contenido ofensivo e inapropiado, así como supervisar y priorizar esos comentarios. Esto es particularmente importante en aplicaciones donde las interacciones de los usuarios "dan forma al contenido y la experiencia", dice Google, como en aplicaciones donde los modelos populares se clasifican más alto o de manera más prominente, quizás.

Responsabilidad de los desarrolladores y mejores prácticas

Además, los desarrolladores también son responsables de proteger sus aplicaciones contra mensajes que puedan manipular sus funciones de IA para crear contenido dañino y ofensivo. Google dice que los desarrolladores pueden utilizar su función de pruebas cerradas para compartir versiones preliminares de sus aplicaciones con los usuarios para obtener comentarios. La empresa sugiere encarecidamente que los desarrolladores no solo prueben antes de lanzar, sino que también documenten esas pruebas, ya que Google podría pedir revisarlas en el futuro.

La compañía también está publicando otros recursos y mejores prácticas, como su Manual de IA + Personas, que tiene como objetivo apoyar a los desarrolladores que construyen aplicaciones de IA.