Clip Fa Vision

🚀 CLIPfa: ファルシ語のテキストと画像をつなぐ

OpenAIは、論文「Learning Transferable Visual Models From Natural Language Supervision」 を公開し、その中でCLIP（Contrastive Language–Image Pre-training）モデルを紹介しました。このモデルは、対照学習の目的を用いて、テキストと画像の対応するベクトル表現をマッチングさせることで、テキストと画像を関連付けるように学習されています。CLIPは、ビジョンエンコーダとテキストエンコーダという2つの別々のモデルで構成されています。これらは、4億枚の画像と対応するキャプションで学習されました。私たちは、40万組の（画像、テキスト）ペアのデータセットで、OpenAIのCLIPのファルシ語（ペルシャ語）版を学習させました。テキストエンコーダとしてFarahaniのRoBERTa-fa を、ビジョンエンコーダとして元のCLIPの‍‍ViT‍ を使用し、これらを微調整しました。

• この学習には40万組のペアのみが使用されたことに注意してください。一方、元のCLIPには400万組のペアが使用されています。また、この学習には、V100チップを搭載した592台のGPUで30日間かかりました。

🚀 クイックスタート

✨ 主な機能

CLIPfaは、ファルシ語のテキストと画像を関連付けることができるモデルです。元のCLIPモデルをベースに、ファルシ語のデータセットで微調整されています。

📦 インストール

以下のコマンドを使用して、必要なライブラリをインストールできます。

pip install -q git+https://github.com/sajjjadayobi/clipfa.git

💻 使用例

基本的な使用法

両方のモデルは768次元のベクトルを生成します。

from transformers import CLIPVisionModel, RobertaModel, AutoTokenizer, CLIPFeatureExtractor
# download pre-trained models
vision_encoder = CLIPVisionModel.from_pretrained('SajjadAyoubi/clip-fa-vision')
preprocessor = CLIPFeatureExtractor.from_pretrained('SajjadAyoubi/clip-fa-vision')
text_encoder = RobertaModel.from_pretrained('SajjadAyoubi/clip-fa-text')
tokenizer = AutoTokenizer.from_pretrained('SajjadAyoubi/clip-fa-text')
# define input image and input text
text = 'something'
image = PIL.Image.open('my_favorite_image.jpg')
# compute embeddings
text_embedding = text_encoder(**tokenizer(text,
                                          return_tensors='pt')).pooler_output
image_embedding = vision_encoder(**preprocessor(image, 
                                                return_tensors='pt')).pooler_output
text_embedding.shape == image_embedding.shape

デモ

以下は、25,000枚のUnsplash画像 でのCLIPfaの使用例です。

from clipfa import CLIPDemo
demo = CLIPDemo(vision_encoder, text_encoder, tokenizer)
demo.compute_text_embeddings(['گاو' ,'اسب' ,'ماهی'])
demo.compute_image_embeddings(test_df.image_path.to_list())

オンラインデモ

CLIPfa at Huggingface🤗 spaces

このアプリをほぼリアルタイムに保つために、少量の画像セット（25,000枚）を使用していますが、画像検索の品質は画像データベースのサイズに大きく依存することは明らかです。

❤️ 私の地下室で作られました🤫