Riffusion Model V1

🚀 Riffusion

Riffusion 是一款藉助穩定擴散技術實現即時音樂生成的應用程序。它能根據文本輸入生成頻譜圖，進而轉化為音頻片段。你可以通過 此鏈接 瞭解更多信息，並在 這裡 進行體驗。

• 代碼倉庫：https://github.com/riffusion/riffusion
• 網頁應用：https://github.com/hmartiro/riffusion-app
• 模型檢查點：https://huggingface.co/riffusion/riffusion-model-v1
• Discord 社區：https://discord.gg/yu6SRwvX4v

本倉庫包含以下模型文件：

• 一個符合 diffusers 格式的庫
• 一個編譯後的檢查點文件
• 一個為提高推理速度而跟蹤的 UNet
• 一個供 riffusion-app 使用的種子圖像庫

✨ 主要特性

Riffusion v1 模型

Riffusion 是一個潛在的文本到圖像擴散模型，能夠根據任何文本輸入生成頻譜圖圖像，這些頻譜圖可以轉換為音頻剪輯。該模型由 Seth Forsgren 和 Hayk Martiros 作為業餘項目創建。你可以直接使用 Riffusion 模型，也可以嘗試 Riffusion 網頁應用。

Riffusion 模型是通過微調 Stable-Diffusion-v1-5 檢查點創建的。你可以在 🤗 的 Stable Diffusion 博客 中瞭解有關 Stable Diffusion 的更多信息。

模型詳情

直接使用

該模型僅用於研究目的。可能的研究領域和任務包括：

• 藝術品、音頻的生成以及在創意過程中的應用。
• 在教育或創意工具中的應用。
• 生成模型的研究。

數據集

原始的 Stable Diffusion v1.5 在 LAION-5B 數據集上使用 CLIP 文本編碼器 進行訓練，這為深入理解語言（包括音樂概念）提供了一個絕佳的起點。LAION 團隊還從許多通用、語音和音樂來源編譯了一個出色的音頻數據集，我們推薦查看 LAION-AI/audio-dataset。

微調

你可以查看 Hugging Face 的 diffusers 訓練示例。微調需要一個短音頻片段的頻譜圖圖像數據集，以及描述它們的相關文本。請注意，即使某些單詞從未出現在數據集中，CLIP 編碼器也能夠理解和關聯它們。也可以使用 dreambooth 方法來獲得自定義風格。

📄 許可證

本模型開放訪問，所有人均可使用，採用 CreativeML OpenRAIL-M 許可證進一步明確權利和使用方式。CreativeML OpenRAIL 許可證規定：

1. 你不得使用該模型故意生成或分享非法或有害的輸出或內容。
2. Riffusion 對您生成的輸出不主張任何權利，您可以自由使用它們，並對其使用負責，且使用不得違反許可證中的規定。
3. 您可以重新分發權重，並將模型用於商業用途和/或作為服務使用。如果這樣做，請務必包含與許可證中相同的使用限制，並向所有用戶提供一份 CreativeML OpenRAIL-M 許可證副本（請完整仔細閱讀許可證）。

請在此處仔細閱讀完整許可證：https://huggingface.co/spaces/CompVis/stable-diffusion-license

📚 詳細文檔

引用

如果您基於此工作進行開發，請按以下方式引用：

@article{Forsgren_Martiros_2022,
  author = {Forsgren, Seth* and Martiros, Hayk*},
  title = {{Riffusion - Stable diffusion for real-time music generation}},
  url = {https://riffusion.com/about},
  year = {2022}
}