Taiyi Stable Diffusion 1B Chinese V0.1

🚀 Taiyi-Stable-Diffusion-1B-Chinese-v0.1

Taiyi-Stable-Diffusion-1B-Chinese-v0.1は、最初のオープンソースの中国語Stable Diffusionモデルです。0.2億の選別された中国語の画像とテキストのペアを使って訓練されており、中国語の概念を画像に対応させることができます。

🚀 クイックスタート

• メインページ: Fengshenbang
• Github: Fengshenbang-LM

✨ 主な機能

• 中国語のテキストを入力することで、対応する画像を生成できます。
• 全精度と半精度の2種類の使用方法があり、推論速度を最適化できます。

📦 インストール

このモデルはHugging Faceのリポジトリから直接使用できます。必要なライブラリをインストールして、以下のコードを実行します。

全精度

from diffusers import StableDiffusionPipeline

pipe = StableDiffusionPipeline.from_pretrained("IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-v0.1").to("cuda")

prompt = '飞流直下三千尺，油画'
image = pipe(prompt, guidance_scale=7.5).images[0]  
image.save("飞流.png")

半精度FP16 (CUDA)

torch_dtype=torch.float16 と device_map="auto" を追加することで、FP16の重みを迅速にロードし、推論速度を向上させることができます。詳細は the optimization docs を参照してください。

# !pip install git+https://github.com/huggingface/accelerate
import torch
from diffusers import StableDiffusionPipeline
torch.backends.cudnn.benchmark = True
pipe = StableDiffusionPipeline.from_pretrained("IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-v0.1", torch_dtype=torch.float16)
pipe.to('cuda')

prompt = '飞流直下三千尺，油画'
image = pipe(prompt, guidance_scale=7.5).images[0]  
image.save("飞流.png")

💻 使用例

基本的な使用法

from diffusers import StableDiffusionPipeline

pipe = StableDiffusionPipeline.from_pretrained("IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-v0.1").to("cuda")

prompt = '飞流直下三千尺，油画'
image = pipe(prompt, guidance_scale=7.5).images[0]  
image.save("飞流.png")

高度な使用法

# !pip install git+https://github.com/huggingface/accelerate
import torch
from diffusers import StableDiffusionPipeline
torch.backends.cudnn.benchmark = True
pipe = StableDiffusionPipeline.from_pretrained("IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-v0.1", torch_dtype=torch.float16)
pipe.to('cuda')

prompt = '铁马冰河入梦来，概念画，科幻，玄幻，3D'
image = pipe(prompt, guidance_scale=7.5).images[0]  
image.save("铁马.png")

📚 ドキュメント

• 使用マニュアル: Taiyi使用マニュアル
• 微調整方法: Taiyi-Stable-Diffusionの微調整
• webuiの設定方法: webuiのREADME
• DreamBoothの使用方法: DreamBoothの例

🔧 技術詳細

モデル分類

結果例

基本的なプロンプト

铁马冰河入梦来，3D绘画。	飞流直下三千尺，油画。	女孩背影，日落，唯美插画。

高度なプロンプト

铁马冰河入梦来，概念画，科幻，玄幻，3D	中国海边城市，科幻，未来感，唯美，插画。	那人却在灯火阑珊处，色彩艳丽，古风，资深插画师作品，桌面高清壁纸。

📄 ライセンス

このモデルはCreativeML OpenRAIL-Mライセンスの下で公開されています。詳細は こちら を参照してください。

引用

このモデルを使用した場合は、以下の文献を引用してください。

@article{fengshenbang,
  author    = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen},
  title     = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

また、以下のウェブサイトも引用できます。

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}