CLIP ViT L Rho50 K1 Constrained FARE2

🚀 LEAF-CLIP/CLIP-ViT-L-rho50-k1-FARE2

このモデルは、画像とテキストの特徴抽出に使用されます。ベースモデルとしてopenai/clip-vit-large-patch14を使用し、画像エンコーダとテキストエンコーダをそれぞれFAREとLEAFで微調整しています。

🚀 クイックスタート

このモデルを使用するには、以下のコードを実行します。

from transformers import CLIPProcessor, CLIPModel

model_name = "LEAF-CLIP/CLIP-ViT-L-rho50-k1-FARE2"
processor_name = "openai/clip-vit-large-patch14"

model = CLIPModel.from_pretrained(model_name)
processor = CLIPProcessor.from_pretrained(processor_name)

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import CLIPProcessor, CLIPModel

model_name = "LEAF-CLIP/CLIP-ViT-L-rho50-k1-FARE2"
processor_name = "openai/clip-vit-large-patch14"

model = CLIPModel.from_pretrained(model_name)
processor = CLIPProcessor.from_pretrained(processor_name)

📚 ドキュメント

論文

[Paper]

コード

[Code]

モデル情報

📄 ライセンス

このモデルはMITライセンスの下で公開されています。