Riffusion Musiccaps

🚀 基於Google/MusicCaps微調的Riffusion模型

本項目是對Riffusion進行微調，使用的數據集為google/MusicCaps。該項目可實現文本到音樂、文本到圖像的轉換，在音樂生成方面具有獨特優勢。

✨ 主要特性

• 基於google/MusicCaps進行微調，在音樂生成上表現出色。
• 當輸入的提示詞與數據集標籤相似時，能得到更可靠的結果。

📄 許可證

本項目採用CC BY 4.0許可證。

📚 詳細文檔

提示詞構建示例

在實際使用中，發現使用與數據集標籤相似的提示詞能獲得更可靠的結果。以下是一個藉助Chat GPT生成提示詞的示例：

輸入提示

我正在為音樂生成AI編寫提示詞。我使用瞭如下的描述：
1. 有人正在鋼鼓上演奏高音旋律。該音頻文件質量較差。
2. 這是一首故障音樂作品。有一個類似三角波的合成音效在升高音調。有顆粒狀的合成樣本被隨機播放。一個虛擬的中低音鐘聲正在演奏類似馬林巴琴的旋律。有一種詭異的流暢感。這首曲子可用於反烏托邦科幻電影的配樂。也可用於電子遊戲的探索環節。
3. 這個文件包含一段管絃樂作品，同時前景中有大量的數字點擊聲。這是一個業餘錄音。而且聲音似乎來自不同的來源。這首歌可能會在冒險類電子遊戲中播放。

現在我想生成一首帶有貝斯的舒緩爵士音樂，節奏適中。請按照上述描述的風格編寫一個提示詞，用一句話分三行表述。

輸出提示

創建一個寧靜的舞蹈氛圍，搭配夢幻般的旋律、舒緩的合成音效和有節奏的節拍，輕輕引領聽眾進入幸福寧靜的狀態，非常適合在漫長的一天後放鬆身心或享受一段寧靜的舞蹈時光。