Shap E Img2img

🚀 Shap-E

Shap-Eは、テキストプロンプトから3D画像を生成できる拡散プロセスを導入したモデルです。OpenAIのHeewoo JunとAlex Nicholによる論文 Shap-E: Generating Conditional 3D Implicit Functions で紹介されました。

Shap-Eのオリジナルリポジトリはこちらです: https://github.com/openai/shap-e 。

Shap-Eの作者はこのモデルカードを作成していません。彼らは別のモデルカードを こちら で提供しています。

🚀 クイックスタート

Shap-Eは、テキスト入力から3D画像を生成することができます。以下のセクションでは、このモデルの概要、公開されているチェックポイント、使用例、結果、トレーニングの詳細、既知の制限事項と潜在的なバイアス、そして引用方法について説明します。

✨ 主な機能

Shap-Eは、3Dアセットの条件付き生成モデルです。最近の3D生成モデルが単一の出力表現を生成するのとは異なり、Shap-Eはテクスチャ付きメッシュとニューラル放射場の両方としてレンダリングできる暗黙関数のパラメータを直接生成します。

📦 インストール

まず、すべての依存関係をインストールしてください。

pip install transformers accelerate -q
pip install git+https://github.com/huggingface/diffusers@@shap-ee

💻 使用例

基本的な使用法

依存関係をインストールしたら、以下のコードを使用してください。

import torch
from diffusers import ShapEImg2ImgPipeline
from diffusers.utils import export_to_gif, load_image

ckpt_id = "openai/shap-e-img2img"
pipe = ShapEImg2ImgPipeline.from_pretrained(repo).to("cuda")

img_url = "https://hf.co/datasets/diffusers/docs-images/resolve/main/shap-e/corgi.png"
image = load_image(img_url)

generator = torch.Generator(device="cuda").manual_seed(0)
batch_size = 4
guidance_scale = 3.0

images = pipe(
    image, 
    num_images_per_prompt=batch_size, 
    generator=generator, 
    guidance_scale=guidance_scale,
    num_inference_steps=64, 
    size=256, 
    output_type="pil"
).images

gif_path = export_to_gif(images, "corgi_sampled_3d.gif")

📚 ドキュメント

公開されているチェックポイント

作者らは以下のチェックポイントを公開しています。

• openai/shap-e: テキスト入力プロンプトから3D画像を生成します。
• openai/shap-e-img2img: 合成2D画像から3D画像をサンプリングします。

結果

2D参照画像	3Dサンプリング画像（1）	3Dサンプリング画像（2）
2Dの参照コーギー画像	3Dのサンプリング画像（1）	3Dのサンプリング画像（2）

トレーニングの詳細

詳細は 元の論文 を参照してください。

既知の制限事項と潜在的なバイアス

詳細は 元のモデルカード を参照してください。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

引用

@misc{jun2023shape,
      title={Shap-E: Generating Conditional 3D Implicit Functions}, 
      author={Heewoo Jun and Alex Nichol},
      year={2023},
      eprint={2305.02463},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}