AIGC实战——基于Transformer实现音乐生成

AIGC实战——基于Transformer实现音乐生成

• • 0. 前言
  • 1. 音乐生成的挑战
  • 2. MuseNet
  • 3. 音乐数据
  • • 3.1 巴赫大提琴组曲数据集
    • 3.2 解析 MIDI 文件
    • 3.3 分词
    • 3.4 创建训练数据集
  • 4. MuseNet 模型
  • • 4.1 正弦位置编码
    • 4.2 多输入/输出
  • 5. 音乐生成 Transformer 的分析
  • 6. 多声部音乐分词
  • • 6.1 网格分词
    • 6.2 基于事件的分词
  • 小结
  • 系列链接

0. 前言

Transformer 是最流行的音乐生成技术之一，因为音乐可以视为一个序列预测问题，Transformer 模型将音符视为一个个符号的序列(类似于句子中的单词)，从而用于生成音乐。Transformer 模型基于先前音符预测下一个音符，生成音乐作品。在本节中，将学习如何处理音乐数据，并应用 Transformer 生成与给定训练集风格相似的音乐。

1. 音乐生成的挑战

要让机器创作出悦耳的音乐，则必须克服与文本生成中所介绍的相似的技术挑战。模型必须能够学习并再现音乐的序列结构，且能够根据一组离散概率选择下一个音符。
然而，除了文本生成所需的技术外，音乐生成还存在其他挑战，即音高和节奏。音乐通常是多声部的，即不同乐器同时演奏多个音符流，它们结合在一起形成的是和声有可能不协和(刺耳)也有可能不协和(和谐)。文本生成仅需要处理一个单一的文本流，而音乐生成则需要处理多个并行的和弦流。
此外，文本生成可以逐个单词处理。但与文本数据不同，音乐是一个多部分、相交织在一起的声音轴，这些声音不一定同时出现，不同乐器之间不同节奏的相互作用是音乐的独特魅力。例如，吉他手可能弹奏一连串快速的音符，而钢琴师则可能弹奏一个较长的持续音。因此，逐音符生成音乐是复杂的，因为我们通常不希望所有乐器同时改变音符。

2. MuseNet

本节，我们将构建一个解码器