MusicGen: el nuevo generador de texto a música con IA que puedes usar ya

MusicGen es último avance en generación de música a partir de texto liberado por el equipo de Audiocraft de Meta AI.

Este potente generador de texto a música utiliza inteligencia artificial para transformar simples instrucciones en fascinantes canciones.

Con una interfaz sencilla y una variedad de modelos pre-entrenados, MusicGen despliega un mundo de posibilidades para músicos, aficionados y desarrolladores.

También admite como entrada melodías existentes, lo cual puede ser una buena ayuda a la hora de obtener resultados más precisos.

Lo mejor es que es de código abierto, por lo que ya se puede usar online o incluso descargar los modelos para su uso en local.

En esta entrada te mostramos como funciona para que puedas exprimir al máximo las posibilidades que ofrece la generación de texto a música con IA.

✚ ¿Cómo funciona MusicGen?

MusicGen emplea un modelo Transformer auto-regresivo en una sola etapa entrenado con un tokenizador EnCodec de 32kHz y cuatro codebooks de 50Hz.

A diferencia de los modelos anteriores, MusicGen no requiere una representación semántica auto-supervisada y crea los cuatro codebooks simultáneamente.

Además, se encuentra disponible en tres tamaños, 300M, 1.5B y 3.3B de parámetros, para cubrir una amplia gama de necesidades.

El modelo de 300M está diseñado para generar texto a música, mientras que los modelos de 1.5B y 3.3B están entrenados para generar música guiada por melodías.

Antes de poder usar MusicGen, los usuarios deben preparar una entrada de texto que puede variar desde el título de una canción y la melodía hasta una progresión de acordes.

Una vez preparada la entrada de texto, MusicGen puede producir composiciones musicales extraordinarias.

✚ ¿Cómo usar MusicGen?

MusicGen no es solo una noción teórica; es una herramienta real para crear música. Veamos tres formas de aprovechar sus poderosas capacidades:

Demo: La versión demo de MusicGen es la puerta de entrada perfecta para cualquier usuario nuevo pues permite experimentar con las funciones básicas del sistema y generar música a partir de instrucciones sencillas sin necesidad de hacer ningún tipo de instalación o configuración.

COLAB: también es posible usar MusicGen como herramienta colaborativa para trabajar con otros. Si estás trabajando en un proyecto musical o simplemente quieres divertirte creando música, esta alternativa te puede facilitar el proceso.

Código: Para aquellos con un trasfondo técnico, el modelo ofrece la posibilidad de sumergirse en su código abierto.

Esta es una oportunidad invaluable para personalizar la herramienta según tus necesidades específicas, adentrarte en el código, modificarlo a tu gusto y crear tus propias sinfonías.

Sin embargo ten en cuenta que necesitarás una maquina muy potente para poder obtener las canciones en un tiempo razonable.

✚ Ejemplo simple de funcionamiento

Para empezar a disfrutar de la maravillosa experiencia que ofrece MusicGen, uno de los caminos más accesibles es a través de su demo en Hugging Face.

Esta plataforma de inteligencia artificial ofrece una interfaz fácil de usar para interactuar con el modelo. Aquí te explicamos cómo hacerlo:

Primero, debes visitar la demo de MusicGen en Hugging Face. Al llegar a la página, encontrarás un cuadro de texto con la etiqueta “Describe tu música”.

En este espacio debes ingresar una descripción o cualquier instrucción especial para que el modelo la siga durante la creación de la música.

Por ejemplo, podrías ingresar algo como: “80s pop song with acoustic guitars and heavy drums”.

Una vez que hayas ingresado tu indicación preferida, debes hacer clic en el botón “Generar” para comenzar el proceso de creación de música.

Es necesario tener un poco de paciencia, ya que el modelo tardará unos segundos en desarrollar la música basándose en tu entrada.

Es importante tener en cuenta que, por defecto, el modelo genera una muestra de música de 12 segundos. La música generada reflejará las características e instrucciones proporcionadas en tu entrada.

Aquí mis resultados:

No está mal para 10 segundos de trabajo. También puedes proporcionar un archivo de audio de referencia del cual se derivará una melodía amplia.

El modelo intentará seguir tanto la descripción como la melodía proporcionada al agregar el audio de referencia, lo que resultará en una creación musical más personalizada.

✚ Ventajas de MusicGen para la generación de texto a música

Esta nueva IA de generación texto-música destaca como una innovación rompedora por varias razones:

• Un Modelo de Lenguaje Único (LM): A diferencia de otros enfoques que necesitan múltiples modelos o procesos de submuestreo complicados, MusicGen opera con un modelo de lenguaje transformer de una sola etapa. Trabaja con una diversidad de flujos de representaciones musicales discretas y comprimidas, o tokens, simplificando así las señales musicales complejas.
• Salidas Personalizables: Esta IA va más allá de la simple generación de música aleatoria. Proporciona a los usuarios la capacidad de dirigir las muestras generadas, permitiéndoles establecer parámetros específicos, como descripciones de texto o componentes melódicos.
• Simplicidad: A pesar de la aparente complejidad del desafío que aborda, este modelo ilustra cómo la combinación inteligente de elementos simples puede conducir a resultados extraordinarios. A través de su simplicidad, se convierte en una herramienta potente incluso para aquellos sin formación musical.
• Éxito comprobado: Por último ha demostrado su superioridad a través de rigurosas pruebas, incluyendo evaluaciones automáticas y humanas. Esta herramienta destaca por su capacidad para producir música que supera los estándares de texto a música establecidos.

---

En conclusión, MusicGen se sitúa en la vanguardia de la tecnología de generación de música, ofreciendo un nivel de control y creatividad sin precedentes.

Visita las opciones propuestas o explora el código abierto para comenzar tu viaje musical. Las posibilidades de esta nueva IA son infinitas. ¡Tu próxima sinfonía te espera!