Riffusion

🚀 Riffusion

Riffusion 是一款藉助穩定擴散技術實現即時音樂生成的應用程序。它能夠依據文本輸入生成頻譜圖圖像，並將這些頻譜圖轉換為音頻片段。

你可以在 這裡 瞭解更多相關信息，還能在 此處 親自體驗。

• 網頁應用：https://github.com/hmartiro/riffusion-app
• 推理服務器：https://github.com/hmartiro/riffusion-inference
• 模型檢查點：https://huggingface.co/riffusion/riffusion-model-v1

本倉庫包含以下模型文件：

• 一個 diffusers 格式的庫
• 一個編譯後的檢查點文件
• 一個為提高推理速度而追蹤的 unet
• 一個供 riffusion-app 使用的種子圖像庫

🚀 快速開始

本模型是開放訪問的，所有人都可以使用，其遵循 CreativeML OpenRAIL - M 許可協議，該協議進一步明確了權利和使用規定。

許可協議說明

1. 你不得使用該模型故意生成或分享非法或有害的輸出內容。
2. Riffusion 對您生成的輸出內容不主張任何權利，您可以自由使用這些內容，但需對其使用負責，且使用行為不得違反許可協議中的規定。
3. 您可以重新分發模型權重，並將模型用於商業用途或作為服務使用。如果您這樣做，請務必包含與許可協議中相同的使用限制，並向所有用戶提供一份 CreativeML OpenRAIL - M 許可協議副本（請完整、仔細地閱讀許可協議）。

請仔細閱讀完整的許可協議：https://huggingface.co/spaces/CompVis/stable-diffusion-license

✨ 主要特性

Riffusion 是一個潛在的文本到圖像擴散模型，能夠根據任何文本輸入生成頻譜圖圖像，這些頻譜圖可以轉換為音頻剪輯。

📚 詳細文檔

模型詳情

直接使用

該模型僅用於研究目的，可能的研究領域和任務包括：

• 藝術品、音頻的生成以及在創意過程中的應用。
• 在教育或創意工具中的應用。
• 生成模型的研究。

引用

如果您基於此工作進行開發，請按以下方式引用：

@software{Forsgren_Martiros_2022,
  author = {Forsgren, Seth* and Martiros, Hayk*},
  title = {{Riffusion - Stable diffusion for real-time music generation}},
  url = {https://riffusion.com/about},
  year = {2022}
}

📄 許可證

本模型使用 CreativeML OpenRAIL M 許可證。