Audiocraft：Meta开源的AI音乐生成模型（音乐自动化创作）
这周，Meta 开源了一个 AI 生成音乐工具 Audiocraft，十分火热，短短不到一周，已经有了5.8k
今天跟大家聊下
文档参考
1 git:
github.com/facebookresearch/audiocraft
2 论文：
arxiv.org/abs/2306.05284
3音频解码：
github.com/facebookresearch/encodec
4 演示：
ai.honu.io/papers/musicgen/
5 在线体验：
huggingface.co/spaces/facebook/MusicGen6在线体验：
huggingface.co/spaces/facebook/MusicGen6在线体验：
huggingface.co/spaces/facebook/MusicGen
效果展示
示例1：
文本输入:
80s pop track with bassy drums and synth
80年代流行歌曲，有低音鼓和合成音
生成音乐
示例2：
文本输入:
90s rock song with loud guitars and heavy drums
90年代的摇滚歌曲，伴随着响亮的吉他和沉重的鼓声
生成音乐
更多示例：
ai.honu.io/papers/musicgen/
简介
Audiocraft是一个使用深度学习进行音频处理和生成的库。它具有最先进的EnCodec音频压缩器/标记器，沿着MusicGen，一个简单可控的音乐生成LM，具有文本和旋律调节。
MusicGen不需要自我监督的语义表示，它生成 一次通过所有4个码本。通过在码本之间引入一个小的延迟，证明了我们可以预测 它们并行，因此每秒音频只有50个自回归步骤
素材训练
使用2万小时的授权音乐来训练MusicGen。具体来说，我们依赖于10K高质量音乐曲目的内部数据集，以及ShutterStock和Pond5音乐数据。
预训练模型4个
small：300M型号，仅文本到音乐;medium：1.5B型号，仅文本到音乐;melody：1.5B模式，文本到音乐和文本+旋律到音乐;large：3.3B型号，仅文本到音乐
安装使用
需要Python 3.9，PyTorch 2.0.0，至少16 GB内存的GPU
环境搭建
conda create -n musicgen python=3.9
pip install 'torch>=2.0'
# Then proceed to one of the following
pip install -U audiocraft # stable release
pip install -U git+https://[email protected]/facebookresearch/audiocraft#egg=audiocraft # bleeding edge
pip install -e . # or if you cloned the repo locally
使用api生成音乐
import torchaudio
from audiocraft.models import MusicGen
from audiocraft.data.audio import audio_write
model = MusicGen.get_pretrained('melody')
model.set_generation_params(duration=8) # generate 8 seconds.
wav = model.generate_unconditional(4) # generates 4 unconditional audio samples
descriptions = ['happy rock', 'energetic EDM', 'sad jazz']
wav = model.generate(descriptions) # generates 3 samples.
melody, sr = torchaudio.load('./assets/bach.mp3')
# generates using the melody from the given audio and the provided descriptions.
wav = model.generate_with_chroma(descriptions, melody[None].expand(3, -1, -1), sr)
for idx, one_wav in enumerate(wav):
# Will save under {idx}.wav, with loudness normalization at -14 db LUFS.
audio_write(f'{idx}', one_wav.cpu(), model.sample_rate, strategy="loudness", loudness_compressor=True)
最后
文生文和文生图已经让我们震惊了，接下来文本生成音乐也要开始发力了，文生视频又近了，期待！！
创作不易，帮忙点赞关注，我们下期见！