Riffusion Musiccaps

🚀 基于Google/MusicCaps微调的Riffusion模型

本项目是对Riffusion进行微调，使用的数据集为google/MusicCaps。该项目可实现文本到音乐、文本到图像的转换，在音乐生成方面具有独特优势。

✨ 主要特性

• 基于google/MusicCaps进行微调，在音乐生成上表现出色。
• 当输入的提示词与数据集标签相似时，能得到更可靠的结果。

📄 许可证

本项目采用CC BY 4.0许可证。

📚 详细文档

提示词构建示例

在实际使用中，发现使用与数据集标签相似的提示词能获得更可靠的结果。以下是一个借助Chat GPT生成提示词的示例：

输入提示

我正在为音乐生成AI编写提示词。我使用了如下的描述：
1. 有人正在钢鼓上演奏高音旋律。该音频文件质量较差。
2. 这是一首故障音乐作品。有一个类似三角波的合成音效在升高音调。有颗粒状的合成样本被随机播放。一个虚拟的中低音钟声正在演奏类似马林巴琴的旋律。有一种诡异的流畅感。这首曲子可用于反乌托邦科幻电影的配乐。也可用于电子游戏的探索环节。
3. 这个文件包含一段管弦乐作品，同时前景中有大量的数字点击声。这是一个业余录音。而且声音似乎来自不同的来源。这首歌可能会在冒险类电子游戏中播放。

现在我想生成一首带有贝斯的舒缓爵士音乐，节奏适中。请按照上述描述的风格编写一个提示词，用一句话分三行表述。

输出提示

创建一个宁静的舞蹈氛围，搭配梦幻般的旋律、舒缓的合成音效和有节奏的节拍，轻轻引领听众进入幸福宁静的状态，非常适合在漫长的一天后放松身心或享受一段宁静的舞蹈时光。