Stability AI lanza modelo gratuito para crear música innovadora

Startup de IA lanza modelo para generar sonidos y canciones de forma gratuita

La startup Stability AI, conocida por su generador de arte impulsado por IA llamado Stable Diffusion, ha lanzado un modelo de IA abierto para generar sonidos y canciones que afirma fue entrenado exclusivamente con grabaciones libres de regalías.

Llamado Stable Audio Open, el modelo generativo toma una descripción de texto (por ejemplo, "ritmo de rock tocado en un estudio tratado, batería de sesión en un kit acústico") y produce una grabación de hasta 47 segundos de duración. El modelo fue entrenado utilizando alrededor de 486,000 muestras de las bibliotecas de música gratuita FreeSound y Free Music Archive.

Creación de sonidos y elementos de producción

Stability AI asegura que el modelo se puede utilizar para crear ritmos de batería, riffs de instrumentos, ruidos ambientales y "elementos de producción" para videos, películas y programas de televisión, así como para "editar" canciones existentes o aplicar el estilo de una canción (por ejemplo, smooth jazz) a otra.

“Un beneficio clave de esta versión de código abierto es que los usuarios pueden ajustar el modelo con sus propios datos de audio personalizados”, escribió Stability AI en una publicación en su blog corporativo. “Por ejemplo, un batería podría ajustarlo con muestras de sus propias grabaciones de batería para generar nuevos ritmos”.

Limitaciones y controversia

Sin embargo, Stable Audio Open tiene sus limitaciones. No puede producir canciones completas, melodías o voces, al menos no buenas. Stability AI dice que no está optimizado para esto y sugiere que los usuarios que buscan esas capacidades opten por el servicio premium de Stable Audio de la compañía.

Stable Audio Open tampoco se puede utilizar comercialmente; sus términos de servicio lo prohíben. Y no se desempeña igual de bien en todos los estilos musicales y culturas o con descripciones en idiomas distintos al inglés, sesgos que Stability AI atribuye a los datos de entrenamiento.

Controversia en la compañía

Stability AI, que ha tenido dificultades para sacar adelante su negocio en declive, se convirtió recientemente en objeto de controversia después de que su vicepresidente de audio generativo, Ed Newton-Rex, renunciara por desacuerdo con la postura de la compañía de que entrenar modelos de IA generativos en obras con derechos de autor constituye "uso justo". Stable Audio Open parece ser un intento de cambiar esa narrativa, al mismo tiempo que publicita no tan sutilmente los productos pagados de Stability AI.

A medida que los generadores de música, incluido el de Stability, ganan popularidad, los derechos de autor y las formas en que algunos creadores de generadores podrían estar abusando de ellos se están convirtiendo en un punto central de atención.

En mayo, Sony Music, que representa a artistas como Billy Joel, Doja Cat y Lil Nas X, envió una carta a 700 compañías de IA advirtiendo contra el "uso no autorizado" de su contenido para entrenar generadores de audio. Y en marzo, se firmó en Tennessee la primera ley de Estados Unidos destinada a frenar los abusos de la IA en la música.