Japanese Stable Diffusion Xl

🚀 日本語版Stable Diffusion XL

Japanese Stable Diffusion XL (JSDXL) は、日本語のプロンプトを入力し、日本スタイルの画像を生成できるモデルです。商用利用に関する詳細は指定のリンクを参照してください。

🚀 クイックスタート

このモデルを使用するには、以下の手順に従ってください。

コード例

from diffusers import DiffusionPipeline
import torch

pipeline = DiffusionPipeline.from_pretrained(
    "stabilityai/japanese-stable-diffusion-xl", trust_remote_code=True
)
pipeline.to("cuda")

# if using torch < 2.0
# pipeline.enable_xformers_memory_efficient_attention()

prompt = "柴犬、カラフルアート"

image = pipeline(prompt=prompt).images[0]

✨ 主な機能

• 日本語のプロンプトを入力し、日本スタイルの画像を生成することができます。
• 商用利用に関する詳細は、https://stability.ai/license を参照してください。

📦 インストール

このモデルを使用するには、diffusers ライブラリが必要です。以下のコマンドでインストールできます。

from diffusers import DiffusionPipeline
import torch

📚 ドキュメント

モデルの詳細

利用方法

直接利用

• 商用利用: このモデルの商用利用に関しては、https://stability.ai/license を参照してください。商用利用に関する日本語での問い合わせは sales-jp@stability.ai までお願い致します。
• 研究用途: 可能な研究分野やタスクには以下のようなものがあります。
  • アート作品の生成とデザインやその他の芸術的なプロセスでの利用。
  • 教育や創造的なツールでの応用。
  • 生成モデルに関する研究。
  • 有害なコンテンツを生成する可能性のあるモデルの安全なデプロイ。
  • 生成モデルの制限とバイアスの調査と理解。

範囲外の利用

このモデルは、人物やイベントの事実的または真実の表現を生成するように訓練されていないため、そのようなコンテンツを生成することはこのモデルの能力範囲外です。

制限とバイアス

制限

• モデルは完全な写実感を実現できません。
• モデルは読み取り可能なテキストをレンダリングできません。
• モデルは、「青い球体の上に赤い立方体」のような構成的な難しいタスクに苦労します。
• 顔や人物全体が適切に生成されない場合があります。
• モデルの自動符号化部分は損失があります。

バイアス

画像生成モデルの能力は印象的ですが、社会的なバイアスを強化または悪化させる可能性もあります。

🔧 技術詳細

このモデルは、SDXL 1.0 をベースに微調整されたモデルです。事前学習モデルの汎用性を維持しながら、日本語と日本の文化や表現の理解を最大化するために、日本語固有の互換性のあるテキストエンコーダを使用してPEFTトレーニングを行いました。PEFT手法として、Orthogonal Fine-tuning (OFT) を適用し、より良い結果とトレーニングの安定性を得ました。

📄 ライセンス

このモデルは STABILITY AI COMMUNITY LICENSE の下で提供されています。

引用方法

@misc{JSDXL, 
    url    = {[https://huggingface.co/stabilityai/japanese-stable-diffusion-xl](https://huggingface.co/stabilityai/japanese-stable-diffusion-xl)}, 
    title  = {Japanese Stable Diffusion XL}, 
    author = {Shing, Makoto and Akiba, Takuya and Chi, Jerry}
}

お問い合わせ

• モデルに関する質問やコメントは、Stable Community Japan に参加してください。
• 未来のアナウンスやStability AIのモデル、研究、イベントに関する情報は、https://twitter.com/StabilityAI_JP をフォローしてください。
• ビジネスや協業に関するお問い合わせは、partners-jp@stability.ai にご連絡ください。