Arabic Clip Vit Base Patch32

🚀 アラビア語CLIPモデル

アラビア語CLIPは、画像とテキストの関連付けを行うモデルで、アラビア語に特化したCLIPモデルです。このモデルは、アラビア語の画像とテキストの関係を学習し、画像検索やゼロショット学習などのタスクに役立ちます。

🚀 クイックスタート

以下のコードを使用して、アラビア語CLIPモデルをロードし、保存することができます。

from transformers import AutoTokenizer, FlaxVisionTextDualEncoderModel
model = FlaxVisionTextDualEncoderModel.from_pretrained("LinaAlhuri/Arabic-clip-vit-base-patch32", logit_scale_init_value=1,from_pt=True)
model.save_pretrained("arabic_clip") 

tokenizer = AutoTokenizer.from_pretrained("asafaya/bert-base-arabic", cache_dir=None, use_fast=True)

✨ 主な機能

• アラビア語の画像とテキストの関連付けを行うことができます。
• ゼロショット学習、画像検索、ローカライゼーション、画像検索などのタスクに適用できます。

📦 インストール

コードの実行には、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

上記のコードを使用して、モデルをロードし、保存することができます。

高度な使用法

このモデルは、ゼロショット学習や画像検索などのタスクに使用できます。具体的な使用方法は、ベンチマークのコードを参照してください。

📚 ドキュメント

データセット

アラビア語のリソースが少ないため、様々なデータソースを組み合わせて包括的なアラビア語画像テキストデータセットを作成しました。

性能と制限

アラビア語CLIPの有効性を、ゼロショット学習、画像検索、ローカライゼーション、画像検索などのタスクに特化したさまざまなベンチマークでテストしました。

ゼロショット学習

画像検索

Conceptual Captions評価

COCO評価

制限

• アラビア語CLIPは、3以上の数を数えることが困難です。
• アラビア語のサンプルが限られています。
• 公開されているアラビア語データセットやアラビア語言語モデルでは、この問題に対処するための研究がまだ行われていないため、さまざまなノイズやバイアスがアラビア語CLIPに導入される可能性があります。

バイアス

性別バイアスに関しては、アラビア語ではすべての名詞が男性または女性に分類される2つの性別システムを使用していることに注意する必要があります。英語ではこのようなシステムはありません。英語からアラビア語にテキストを翻訳すると、情報が失われたり、性別バイアスが生じたりする可能性があります。

🔧 技術詳細

アラビア語CLIPは、Contrastive Language-Image Pre-training (CLIP)をアラビア語に適応させたモデルです。CLIPはOpenAIが開発したモデルで、画像から概念を学習し、それをテキスト記述と関連付けます。この研究では、アラビア語の文脈での視覚情報の理解と解釈を向上させることを試みています。