E5 All Nli Triplet Matryoshka

🚀 SentenceTransformer based on intfloat/multilingual-e5-small

このモデルは、sentence-transformers を使用して、intfloat/multilingual-e5-small を Omartificial-Intelligence-Space/arabic-n_li-triplet データセットでファインチューニングしたものです。文章や段落を384次元の密ベクトル空間にマッピングし、意味的な文章の類似度、意味的な検索、言い換えのマイニング、テキスト分類、クラスタリングなどに使用できます。

✨ 主な機能

• 文章や段落を384次元の密ベクトル空間にマッピングすることができます。
• 意味的な文章の類似度、意味的な検索、言い換えのマイニング、テキスト分類、クラスタリングなどのタスクに使用できます。

📦 インストール

まず、Sentence Transformers ライブラリをインストールします。

pip install -U sentence-transformers

💻 使用例

基本的な使用法

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Omartificial-Intelligence-Space/E5-Matro")
# Run inference
sentences = [
    'يجلس شاب ذو شعر أشقر على الحائط يقرأ جريدة بينما تمر امرأة وفتاة شابة.',
    'ذكر شاب ينظر إلى جريدة بينما تمر إمرأتان بجانبه',
    'الشاب نائم بينما الأم تقود ابنتها إلى الحديقة',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 ドキュメント

モデルの詳細

モデルの説明

モデルのソース

• ドキュメント: Sentence Transformers Documentation
• リポジトリ: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

完全なモデルアーキテクチャ

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

評価

意味的な類似度

データセット: sts-test-384

EmbeddingSimilarityEvaluator を使用して評価しました。

データセット: sts-test-256

EmbeddingSimilarityEvaluator を使用して評価しました。

データセット: sts-test-128

EmbeddingSimilarityEvaluator を使用して評価しました。

データセット: sts-test-64

EmbeddingSimilarityEvaluator を使用して評価しました。

学習の詳細

学習データセット

Omartificial-Intelligence-Space/arabic-n_li-triplet

• データセット: Omartificial-Intelligence-Space/arabic-n_li-triplet
• サイズ: 557,850個の学習サンプル
• 列: anchor、positive、negative
• 最初の1000サンプルに基づく概算統計:

  	anchor	positive	negative
  タイプ	文字列	文字列	文字列
  詳細	最小: 5トークン 平均: 10.33トークン 最大: 52トークン	最小: 5トークン 平均: 13.21トークン 最大: 49トークン	最小: 5トークン 平均: 15.32トークン 最大: 53トークン

• サンプル:

  anchor	positive	negative
  شخص على حصان يقفز فوق طائرة معطلة	شخص في الهواء الطلق، على حصان.	شخص في مطعم، يطلب عجة.
  أطفال يبتسمون و يلوحون للكاميرا	هناك أطفال حاضرون	الاطفال يتجهمون