Meta音频AI三件套爆火：一句话生成流行音乐&音效，还能高保真压缩音频｜开源

萧箫 发自 凹非寺
量子位 | 公众号 QbitAI

Meta突然放大招，直接给一系列音频AI模型搞了个“全家桶”。

从文本生成音乐、文本生成音效、到高质量音频压缩， 音频编辑 和 音频生成 的AI工具全都有，命名为 AudioCraft 。

AudioCraft中的所有模型， 全部开源 。

无论是生成流行音乐：

还是生成音效：

现在都只需要一句文本就能搞定。

值得一提的是，Meta刻意强调自己所有AI的训练数据都是 经过授权 、或是从公开渠道获取的。

有网友闻讯赶来尝试：

这太疯狂了，刚刚试了一下，生成的声音效果真不错！

还有网友调侃，Meta这是要与OpenAI“划界限”：

很明显，Meta试图将自己与OpenAI区分开来， “我们不使用没授权的数据” 。

所以，这个音频AI“全家桶”里有些啥，实际生成编辑效果又如何？

从生成到编辑，音频AI三件套

AudioCraft是一个音频AI开源库，目前包含MusicGen，AudioGen和EnCodec三个音频AI工具。

据Meta介绍，为了发布AudioCraft，他们这两天还特意 更新了一版EnCodec模型 ，让它的输出质量更高。

具体来说，这三个模型分别用于文本生成音乐、文本生成音效和音频压缩：

• MusicGen：基于文本输入生成音乐，使用Meta拥有和专门授权的音乐进行训练

• AudioGen：基于文本输入生成音效 （雨点声、狗吠、警笛等） ，使用公共音效训练

• EnCodec：压缩音频，以较低的音损保持音频的高质量

首先是AudioGen，这是一个自回归生成模型。

AudioGen基于10个公开的音效数据集训练，里面包括狗吠、汽车鸣喇叭或木地板的脚步声等各种音效。

然后是 MusicGen 模型，一共包含300M、1.5B、3.3B三个不同参数量的自回归Transformer。

MusicGen使用了 20000小时 的音乐来训练，包含10000条内部搜集的高质量音轨，以及ShutterStock和Pond5素材库中的数据，后两者的数据量分别为2.5万和36.5万。

这些音乐数据在32kHz下被重新采样，都配有流派、BPM等基本信息和复杂一些的文字说明。

最后是 EnCodec 神经音频编解码器 （neural audio codec） 。

编码器能从要压缩的音频信号中学习离散的音频token；随后，基于一个自回归语言模型，将音频信号压缩到目标大小；最后，基于解码器，就能将压缩的信号高保真重建回音频。

基于这种压缩效果，音频能被压缩到比MP3格式还要小10倍。

可直接上手试玩

目前这几个模型都已经开源，框架都是基于PyTorch打造。

包括MusicGen、AudioGen和EnCodec的论文细节，可以在GitHub项目中找到：

不过，训练代码并非全部开源，目前可以看到只有EnCodec、MusicGEN和Multi Band Diffusion是开源的：

其中MusicGEN还开启了Demo试玩， 我们之前也测试过 ：

不过对于AudioCraft的发布，网友们的评价也是褒贬不一。

有网友觉得，这样音频生成就变得更加大众化了，所有人都可以上手尝试：

但也有网友认为，这势必导致人类连音频的真假都区分不清：

10年后，说不定我们就分辨不清过去的声音、图片、视频了。

One More Thing

最近，音频生成AI确实很，就连效果都卷起来了。

这两天，一个论文和代码都还在准备的模型AudioLDM2，刚放出demo就已经在网上传开了来：

作者Haohe Liu表示，这个模型在生成音效、音乐和可理解语音三个领域中 均达到了SOTA 。

从它实际生成效果来看，确实不错：

感兴趣的小伙伴们，可以蹲一波后续了~

MusicGEN试玩地址：
https://huggingface.co/spaces/facebook/MusicGen

参考链接：
[1]https://ai.meta.com/blog/audiocraft-musicgen-audiogen-encodec-generative-ai-audio/
[2]https://github.com/facebookresearch/audiocraft
[3]https://twitter.com/LiuHaohe/status/1686782804518973440
[4]https://news.ycombinator.com/item?id=36972347

点这里 ???? 关注我，记得标星哦～