Cómo instalar Meta AI Audiocraft para la generación de texto a música

Audiocraft proporciona el código y los modelos para MusicGen, un enfoque sencillo y adaptable para la generación de música. MusicGen emplea un modelo Transformer autorregresivo de una sola etapa que fue entrenado con un tokenizador EnCodec de 32kHz y 4 libros de códigos muestreados a 50 Hz. A diferencia de métodos anteriores como MusicLM, MusicGen no depende de una representación semántica autosupervisada y puede producir los cuatro libros de códigos en una sola pasada.

Demostramos la capacidad de anticiparlos en paralelo, añadiendo un pequeño retardo entre ellos, resultando en sólo 50 pasos auto-regresivos por segundo de audio. En este artículo, voy a mostrar cómo Instalar Meta AI Audiocraft para la generación de texto a música procedimientos paso a paso.

Qué es MusicGen y cómo funciona

1. Meta AI creó MusicGen, un modelo generador de texto a música. Se trata de un paradigma de lenguaje transformador de una sola etapa que actúa sobre varios flujos de representaciones musicales comprimidas y discretas, conocidas como tokens. Esto permite a MusicGen generar muestras de música de alta calidad condicionada a descripciones verbales o elementos melódicos, lo que proporciona un mayor control sobre el resultado generado.
2. MusicGen aún está en fase de desarrollo, pero ya se ha utilizado para generar una amplia gama de estilos musicales, como pop, rock, clásica y jazz. También se ha utilizado para crear música para videojuegos, películas y programas de televisión.
3. MusicGen es una potente herramienta que puede cambiar la forma de hacer música. Con ella, artistas, compositores y productores pueden generar música nueva y original.

Características de MusicGen

• Es capaz de crear música de varios géneros, como pop, rock, clásica y jazz. Puede generar música a partir de descripciones o componentes musicales específicos.
• Aunque aún está en fase de desarrollo, ya se ha utilizado para componer música para diversos medios, como videojuegos, películas y programas de televisión.
• Esta extraordinaria herramienta encierra un inmenso potencial para revolucionar el proceso de generación de música.

Uso de MusicGen

MusicGen, creado por Meta, es algo más que un concepto teórico: es también una herramienta de trabajo para la composición musical. Aquí tienes tres maneras de aprovechar al máximo sus potentes capacidades:

• DEMO: Prueba la versión demo de MusicGen para comprobar por ti mismo lo potente que puede llegar a ser. Esta demo interactiva te permite jugar con las funciones básicas y crear música siguiendo unas sencillas instrucciones. La demo le dará una idea de las posibilidades creativas que ofrece MusicGen. Si usted está interesado en la palabra con MusicGen LEER MusicGen texto a música utilizando Meta AI Audiocraft.
• COLABORACIÓN: Utiliza MusicGen como herramienta de colaboración para colaborar con otras personas. Tanto si estás trabajando en un proyecto musical como si simplemente quieres disfrutar del proceso de hacer música con otros, MusicGen puede ayudarte. Fomenta el trabajo en equipo y anima a sus miembros a colaborar de forma creativa.
• CÓDIGO: Para quienes tengan conocimientos técnicos, MusicGen ofrece un código de fuente abierta que puede consultarse y actualizarse para adaptarlo a sus necesidades. Puede explorar el código, realizar cambios y componer sus propias sinfonías. Esta cantidad de personalización le permite adaptar MusicGen a sus gustos y necesidades musicales específicas.

MusicGen es una herramienta maravillosa para generar música, tanto si eres un principiante como un músico experimentado. Es fácil de usar, adaptable y potente. En este artículo veremos cómo instalar y ejecutar MusicGen.

Requisitos previos

• Audiocraft requiere Python 3.9, PyTorch 2.0.0
• GPU con al menos 16 GB de memoria

Instalación

Para instalar Audiocraft, asegúrate de que tienes Python 3.9 y PyTorch versión 1.9.0 o superior instalados. Además, asegúrate de tener acceso a una GPU con al menos 16 GB de memoria, sobre todo si piensas utilizar el modelo de tamaño medio.

Es mejor tener torch instalado primero, especialmente antes de instalar xformers. # Si ya tienes PyTorch instalado, no ejecutes esto.

pip install 'torch>=2.0'

A continuación, proceda a una de las siguientes opciones,

pip install -U audiocraft  # stable releas

Siguiente comando utilizado para el borde de sangrado,

pip install -U git+https://git@github.com/facebookresearch/audiocraft#egg=audiocraft 

Si ha clonado el repositorio localmente,

pip install -e

API para generar música

MusicGen proporciona una sencilla API para generar música a partir de texto. Hay cuatro modelos preentrenados entre los que elegir:

1. Pequeño: Este modelo tiene 300M de parámetros y sólo puede generar música a partir de texto. Es el modelo más rápido, pero puede que no ofrezca los mejores resultados.
2. Medio: Este modelo tiene 1,5B de parámetros y también puede generar música a partir de texto. Es más lento que el modelo pequeño, pero produce mejores resultados.
3. Melodía: Este modelo de 1,5B parámetros puede generar música a partir tanto de texto como de melodía. Es el modelo más lento, pero produce los mejores resultados.
4. Grande: Este modelo tiene 3,3B parámetros y sólo puede generar música a partir de texto. Es el modelo más lento, pero produce los mejores resultados.

El uso local de MusicGen requiere una GPU con al menos 16 GB de memoria. Con el modelo diminuto, las GPU más pequeñas pueden ser capaces de generar secuencias cortas o secuencias más largas.

Nota: Asegúrese de tener instalado ffmpeg cuando utilice una versión más reciente de torchaudio. Para instalar ffmpeg, puede seguir las siguientes instrucciones en función de su sistema operativo:

apt-get install ffmpeg

Ejemplo de utilización de la API

import torchaudio
from audiocraft.models import MusicGen
from audiocraft.data.audio import audio_write

model = MusicGen.get_pretrained('melody')
model.set_generation_params(duration=8)  # generate 8 seconds.
wav = model.generate_unconditional(4)    # generates 4 unconditional audio samples
descriptions = ['happy rock', 'energetic EDM', 'sad jazz']
wav = model.generate(descriptions)  # generates 3 samples.

melody, sr = torchaudio.load('./assets/bach.mp3')
# generates using the melody from the given audio and the provided descriptions.
wav = model.generate_with_chroma(descriptions, melody[None].expand(3, -1, -1), sr)

for idx, one_wav in enumerate(wav):

    audio_write(f'{idx}', one_wav.cpu(), model.sample_rate, strategy="loudness", loudness_compressor=True) # Will save under {idx}.wav, with loudness normalization at -14 db LUFS.

Conclusión

Instalar Meta AI Audiocraft para la generación de texto a música es un proceso bastante sencillo. Usted puede estar en funcionamiento en poco tiempo si usted sigue los pasos proporcionados en este artículo. Después de instalar Audiocraft, puede utilizarlo para crear su propia música única o para explorar con otros tipos y géneros. Puedes usar Audiocraft para producir música increíblemente única y emotiva con un poco de imaginación. Por favor, siéntete libre de compartir tus pensamientos y opiniones en la sección de comentarios más abajo.

Si quieres conocer otros artículos parecidos a Cómo instalar Meta AI Audiocraft para la generación de texto a música puedes visitar la categoría Herramientas IA.