Clip Fa Text

🚀 CLIPfa: ファルシ語のテキストと画像をつなぐ

OpenAIは、論文「Learning Transferable Visual Models From Natural Language Supervision」 を公開し、その中でCLIP (Contrastive Language–Image Pre-training) モデルを紹介しました。このモデルは、対照学習の目的を用いて、テキストと画像の対応するベクトル表現を一致させることで、テキストと画像を関連付けるように訓練されています。CLIPは、ビジョンエンコーダとテキストエンコーダという2つの別々のモデルで構成されています。これらは、4億枚の画像と対応するキャプションで訓練されました。我々は、40万組の (画像, テキスト) ペアのデータセットで、OpenAIのCLIPのファルシ語 (ペルシャ語) 版を訓練しました。テキストエンコーダとして FarahaniのRoBERTa-fa を、ビジョンエンコーダとして元のCLIPの ‍‍ViT‍ を使用し、これらを微調整しました。

• この訓練には40万組のペアのみが使用されたことに注意してください。一方、元のCLIPには400万組のペアが使用されています。また、この訓練には、V100チップを搭載した592台のGPUで30日間かかりました。

🚀 クイックスタート

✨ 主な機能

このモデルは、ファルシ語のテキストと画像を関連付けることができます。2つのエンコーダ（ビジョンエンコーダとテキストエンコーダ）を使用して、画像とテキストのベクトル表現を生成します。

📦 インストール

pip install -q git+https://github.com/sajjjadayobi/clipfa.git

💻 使用例

基本的な使用法

from transformers import CLIPVisionModel, RobertaModel, AutoTokenizer, CLIPFeatureExtractor
# 事前学習済みモデルをダウンロード
vision_encoder = CLIPVisionModel.from_pretrained('SajjadAyoubi/clip-fa-vision')
preprocessor = CLIPFeatureExtractor.from_pretrained('SajjadAyoubi/clip-fa-vision')
text_encoder = RobertaModel.from_pretrained('SajjadAyoubi/clip-fa-text')
tokenizer = AutoTokenizer.from_pretrained('SajjadAyoubi/clip-fa-text')
# 入力画像と入力テキストを定義
text = 'something'
image = PIL.Image.open('my_favorite_image.jpg')
# 埋め込みを計算
text_embedding = text_encoder(**tokenizer(text,
                                          return_tensors='pt')).pooler_output
image_embedding = vision_encoder(**preprocessor(image, 
                                                return_tensors='pt')).pooler_output
text_embedding.shape == image_embedding.shape

デモ

以下は、25,000枚の Unsplash画像 でのCLIPfaの使用例です。

from clipfa import CLIPDemo
demo = CLIPDemo(vision_encoder, text_encoder, tokenizer)
demo.compute_text_embeddings(['گاو' ,'اسب' ,'ماهی'])
demo.compute_image_embeddings(test_df.image_path.to_list())

オンラインデモ

CLIPfa at Huggingface🤗 spaces

このアプリをほぼリアルタイムに保つために、25,000枚の小規模な画像セットを使用していますが、画像検索の品質は画像データベースのサイズに大きく依存することは明らかです。

私の地下室で❤️ を込めて作られました🤫