Riffusion

🚀 Riffusion

Riffusionは、Stable Diffusionを用いたリアルタイム音楽生成アプリです。

詳細は https://www.riffusion.com/about をご覧いただき、実際に試すには https://www.riffusion.com/ をご利用ください。

• Webアプリ: https://github.com/hmartiro/riffusion-app
• 推論サーバー: https://github.com/hmartiro/riffusion-inference
• モデルチェックポイント: https://huggingface.co/riffusion/riffusion-model-v1

このリポジトリには以下のモデルファイルが含まれています。

• diffusers形式のライブラリ
• コンパイルされたチェックポイントファイル
• 推論速度を向上させたトレース済みのU-Net
• riffusion-appで使用するためのシード画像ライブラリ

🚀 クイックスタート

Riffusionは、任意のテキスト入力からスペクトログラム画像を生成できる潜在的なテキスト-to-画像拡散モデルです。これらのスペクトログラムは音声クリップに変換できます。

このモデルは、Seth Forsgren と Hayk Martiros によって趣味プロジェクトとして作成されました。

Riffusionモデルを直接使用することも、Riffusionウェブアプリ を試すこともできます。

Riffusionモデルは、Stable-Diffusion-v1-5 チェックポイントをファインチューニングして作成されました。Stable Diffusionについては、🤗のStable Diffusionブログ をご覧ください。

✨ 主な機能

• 潜在的なテキスト-to-画像拡散モデルにより、任意のテキスト入力からスペクトログラム画像を生成可能。
• 生成されたスペクトログラムを音声クリップに変換できる。

📚 ドキュメント

モデル詳細

直接利用

このモデルは研究目的のみを想定しています。可能な研究分野やタスクには以下が含まれます。

• アートワーク、オーディオの生成、およびクリエイティブなプロセスでの使用。
• 教育またはクリエイティブツールでの応用。
• 生成モデルに関する研究。

引用

この成果を基に研究を行う場合は、以下のように引用してください。

@software{Forsgren_Martiros_2022,
  author = {Forsgren, Seth* and Martiros, Hayk*},
  title = {{Riffusion - Stable diffusion for real-time music generation}},
  url = {https://riffusion.com/about},
  year = {2022}
}

📄 ライセンス

このモデルはオープンアクセスであり、すべてのユーザーが利用できます。CreativeML OpenRAIL-Mライセンスにより、権利と使用方法がさらに明確に規定されています。

CreativeML OpenRAILライセンスでは以下が規定されています。

1. モデルを使用して、違法または有害な出力やコンテンツを意図的に生成または共有することはできません。
2. Riffusionは、ユーザーが生成した出力に対して何らの権利も主張しません。ユーザーは自由にそれらを使用できますが、ライセンスに定められた規定に違反しないように使用する責任があります。
3. モデルの重みを再配布し、商業的に使用することやサービスとして提供することができます。その場合、ライセンスに記載されている同じ使用制限を含め、CreativeML OpenRAIL-Mのコピーをすべてのユーザーに共有する必要があります（ライセンス全体を注意深く読んでください）。

ライセンス全文はこちらをご覧ください: https://huggingface.co/spaces/CompVis/stable-diffusion-license

⚠️ 重要提示

このモデルにアクセスするには、ライセンスを読んでください。

💡 使用建议

このモデルは研究目的のみを想定しています。使用する際は、ライセンスの規定に従ってください。