AI和音乐的融合会是什么样？

“我们一般都倾向于认为技术的进步会打破之前存在的东西，但这些通常不会发生，这可能会引导出一种不同的音乐创作方式。”

——Jarvis Cocker

 前Pulp乐队主唱，独唱艺术家、作家和播音员

1月30日星期三，Jarvis Cocker在科学博物馆举办了一次关于未来音乐技术的探讨会

近些年来音乐技术的发展趋向于渐进式的变化，对现有的声音合成方法进行不断的迭代改进，比如测序器和音效插件等工具。在某种程度上这个行业充满了相互矛盾，它采用几乎所有先进的CPU资源以便更好的模拟出70年代/80年代的复古装备，一些公司（比如Korg、Roland和Behringer）最近发布了非常具有价格竞争力的产品，比如售价150英镑的半模块化模拟合成器，这些产品和技术正推动企业不断向前发展。

AI和机器学习的颠覆性技术也在不断得到应用，这些可以用来模拟一位有成就的表演者或作曲家的创作过程吗？能达到令人信服的效果吗？

2017年5月在未来围棋峰会上人工智能Alpha Go向人类对手展示了完全出乎意料的操作，这一举动可以说震惊了许多围棋玩家，并导致人们开始重新评估如何继续这款游戏。科学博物馆未来音乐技术小组的山姆·波特描述了这次活动的影响。

“这一招实在是太奇怪了，太独特了，太奇异了，太有创意了，它打开了游戏全新的一面，让我们了解如何用另一方式来玩这款游戏。”

神经网络可以进行重构并可能超越传统的期望，但强化学习方法的本质意味着它必然是不透明的，导致的结果在本质上是模糊的和不可预测的。

从谷歌 DeepMind的 Wavenet开始就已经有各种各样的尝试来发掘机器学习在声音和音乐领域的潜力，创造可信的语音相当于听觉上的“恐怖谷”现象，因为它既要求语音如何发生的现实综合模型，也要求语调如何表现。对符合上下文的变化进行编码是一个非常巨大的挑战，由于我们对语速、音高或整体表达的不准确十分敏感，我们经常被提醒要注意合成语音的生成本质，Wavenet和微软的神经网路驱动的语音生成演示使用了在人类真实语音上训练过的算法，这使得合成模型能够创造出比传统语音合成方法更令人信服的性能。

谷歌发布神经网络音频合成器Nsynth

在Wavenet的引领下，谷歌的Magenta团队使用 Tensorflow（一款GPU加速的机器学习库）来尝试构建一个音频合成器， Nsynth（神经网络合成器）分析现有的音频对列构建出新的音频，但是明显不同于音频源，编码阶段会考虑源音频的质量和特性以及它们的时序特性，从而生成传统方式难以输出的音频效果。

上世纪90年代当布莱恩·伊诺（Brain Eno）使用Koan软件制作了他的软盘专辑 “新生代音乐1” ，SSEYO公司推出的Koan软件一举成名，这是早期采用计算机辅助合成的一个例子，艺术家可以自由的使用他们创造性的想法来选择、编辑、排列或者采用程序的建议来创作音乐。尽管Koan软件完全是采用算法生成的，但它仍是依赖人工操作的生成器，这类生成器仅限于特定范围的音乐形式，而 Amper Music和IBM推出的 Watson Beat可以通过分析真实的音乐短语和“语法”来生成音乐，这要归功于机器学习工具（比如Magenta）背后的处理能力，这种方式创作的音乐即使不能完全让人信服，但已经接近图灵测试的音乐等效标准了。

“采用AI制作我们喜欢的音乐真的可以吗？布莱恩·伊诺（Brain Eno）认为这大概需要6到7年的时间。”

——萨姆·波特，音乐家兼作家

“无人之地（一款科幻题材的游戏）”中的生物生成表

“无人之地”中的所有生物都是由程序生成的，每一个都需要一个真实的声音来与其匹配。

机器学习在这一性能方面可能蕴藏着巨大的潜力，在游戏 “无人之地”中我们使用了物理建模的声道来创造程序生成的声音，然而为了让声音听起来更有说服力，需要向演奏乐器一样操作合成器，使用算法来驱动性能，比如 Perlin噪声转换为基于时间的音频域效果很差，导致听起来像机器人，我们采用基于MIDI性能捕捉短语库来驱动声乐的解决方案已经足够有效了，但是如果能够采用基于多种音频源的训练过程来学习并推断出不同的情绪状态将是一个更好的方案。

这些技术所带来的影响不仅仅局限在音频生成或音乐领域，Mastering （母带处理）是音乐发行前的最后一个混音处理阶段，在这一阶段音轨会应用一系列DSP效果，比如压缩、EQ等，使得音乐达到最后的润色效果，母带处理和发行公司LANDR就利用机器学习技术，创作者可以选择一种母带风格从而最好的匹配正在处理的音乐类型，这些风格来自于基于现有音频源训练的过程。

机器学习在音频制作领域的应用还有很多，从创造出新的声音到模仿人类的声音，以及最后阶段的出版发行，这些工具的共同之处在于能够增强创作过程而不是完全取代它。这其实提供了新的创造机会，同时音乐家们可以根据自己的创作决策形成新的音乐风格。