Cogview4 6B

🚀 CogView4-6B

CogView4-6Bは、テキストから画像を生成するモデルです。高解像度の画像生成が可能で、複数のベンチマークで高いスコアを達成しています。

🤗 Space | 🌐 Github | 📜 CogView3 Paper

🚀 クイックスタート

まず、diffusersライブラリをソースからインストールします。

pip install git+https://github.com/huggingface/diffusers.git
cd diffusers
pip install -e .

次に、以下のコードを実行します。

from diffusers import CogView4Pipeline

pipe = CogView4Pipeline.from_pretrained("THUDM/CogView4-6B", torch_dtype=torch.bfloat16)

# Open it for reduce GPU memory usage
pipe.enable_model_cpu_offload()
pipe.vae.enable_slicing()
pipe.vae.enable_tiling()

prompt = "A vibrant cherry red sports car sits proudly under the gleaming sun, its polished exterior smooth and flawless, casting a mirror-like reflection. The car features a low, aerodynamic body, angular headlights that gaze forward like predatory eyes, and a set of black, high-gloss racing rims that contrast starkly with the red. A subtle hint of chrome embellishes the grille and exhaust, while the tinted windows suggest a luxurious and private interior. The scene conveys a sense of speed and elegance, the car appearing as if it's about to burst into a sprint along a coastal road, with the ocean's azure waves crashing in the background."
image = pipe(
    prompt=prompt,
    guidance_scale=3.5,
    num_images_per_prompt=1,
    num_inference_steps=50,
    width=1024,
    height=1024,
).images[0]

image.save("cogview4.png")

✨ 主な機能

推論要件とモデル紹介

• 解像度: 幅と高さは512pxから2048pxの間で、32で割り切れる必要があり、最大ピクセル数が2^21pxを超えないようにします。
• 精度: BF16 / FP32 (FP16はオーバーフローを引き起こし、完全に黒い画像になるためサポートされていません)

BF16精度でbatchsize=4を使用してテストした場合のメモリ使用量は、以下の表の通りです。

モデルの評価指標

複数のベンチマークでテストを行い、以下のスコアを達成しています。

DPG-Bench

GenEval

T2I-CompBench

中国語テキスト精度評価

📚 ドキュメント

引用

🌟 当社の研究が役立つと感じた場合は、論文を引用し、貴重なスターを付けていただけると幸いです。

@article{zheng2024cogview3,
  title={Cogview3: Finer and faster text-to-image generation via relay diffusion},
  author={Zheng, Wendi and Teng, Jiayan and Yang, Zhuoyi and Wang, Weihan and Chen, Jidong and Gu, Xiaotao and Dong, Yuxiao and Ding, Ming and Tang, Jie},
  journal={arXiv preprint arXiv:2403.05121},
  year={2024}
}

📄 ライセンス

このモデルはApache 2.0 Licenseの下で公開されています。