Arabic SBERT 100K

🚀 Arabic-SBERT-100K

このモデルは、sentence-transformers フレームワークに基づき、aubmindlab/bert-base-arabertv02 を微調整して作成されました。このモデルは、文章や段落を768次元の密ベクトル空間にマッピングすることができ、意味的な文章の類似度計算、意味検索、言い換えの挖掘、文章分類、クラスタリングなどのタスクに使用できます。このモデルは、akhooli/arabic-triplets-1m-curated-sims-len データセットから選択された100Kのサンプルで訓練されており、そのうち75Kが訓練用、25Kが検証用に使用されました。モデルは5エポック訓練され、最終的な訓練損失は0.133（MatryoshkaLossを使用）でした。

✨ 主な機能

• sentence-transformers フレームワークを微調整しており、良好な意味表現能力を持っています。
• 文章や段落を768次元の密ベクトル空間にマッピングでき、様々な自然言語処理タスクに適しています。
• アラビア語のデータセットで訓練されているため、アラビア語の意味理解に優れた性能を発揮します。

📦 インストール

まず、sentence-transformers ライブラリをインストールする必要があります。

pip install -U sentence-transformers

💻 使用例

基本的な使用法

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载模型
model = SentenceTransformer("sentence_transformers_model_id")
# 运行推理
sentences = [
    'ما هو نوع الدهون الموجودة في الأفوكادو',
    'حوالي 15 في المائة من الدهون في الأفوكادو مشبعة ، مع كل كوب واحد من الأفوكادو المفروم يحتوي على 3.2 جرام من الدهون المشبعة ، وهو ما يمثل 16 في المائة من DV البالغ 20 جرامًا. تحتوي الأفوكادو في الغالب على دهون أحادية غير مشبعة ، مع 67 في المائة من إجمالي الدهون ، أو 14.7 جرامًا لكل كوب مفروم ، ويتكون من هذا النوع من الدهون.',
    'يمكن أن يؤدي ارتفاع مستوى الدهون الثلاثية ، وهي نوع من الدهون (الدهون) في الدم ، إلى زيادة خطر الإصابة بأمراض القلب ، ويمكن أن يؤدي توفير مستوى مرتفع من الدهون الثلاثية ، وهي نوع من الدهون (الدهون) في الدم ، إلى زيادة خطر الإصابة بأمراض القلب. مرض.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入向量的相似度得分
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 ドキュメント

モデル詳細

モデルの説明

モデルのソース

• ドキュメント：Sentence Transformers Documentation
• リポジトリ：Sentence Transformers on GitHub
• Hugging Face：Sentence Transformers on Hugging Face

完全なモデルアーキテクチャ

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

訓練詳細

訓練データセット

• 未命名データセット
  • サイズ：75,000個の訓練サンプル
  • 列：anchor、positive、negative
  • 最初の1000個のサンプルに基づく近似統計情報：

    	anchor	positive	negative
    タイプ	文字列	文字列	文字列
    詳細	最小：4トークン 平均：12.88トークン 最大：58トークン	最小：4トークン 平均：13.74トークン 最大：126トークン	最小：4トークン 平均：13.38トークン 最大：146トークン

  • サンプル：

    anchor	positive	negative
    هل تشاجر (سي إس لويس) و (جي آر آر تولكين) ؟ إن كان الأمر كذلك، فما هو السبب؟	هل صحيح أن (سي إس لويس) و (تولكين) تشاجرا؟	ما هي أفضل الكتب للدراسة في الجامعة؟
    ما هي اعراض فقر الدم؟	ما هي اعراض الانيميا؟	كيف احضر كيكة العسل؟
    من ستصوت له، دونالد ترامب أم هيلاري كلينتون؟	هل تؤيدون دونالد ترامب أم هيلاري كلينتون؟ لماذا؟	كيف أتغلب على إدمان المواد الإباحية؟

  • 損失関数：MatryoshkaLoss、パラメータは以下の通り：

    {
        "loss": "MultipleNegativesRankingLoss",
        "matryoshka_dims": [
            768,
            512,
            256,
            128,
            64
        ],
        "matryoshka_weights": [
            1,
            1,
            1,
            1,
            1
        ],
        "n_dims_per_step": -1
    }
    

評価データセット

• 未命名データセット
  • サイズ：25,000個の評価サンプル
  • 列：anchor、positive、negative
  • 最初の1000個のサンプルに基づく近似統計情報：

    	anchor	positive	negative
    タイプ	文字列	文字列	文字列
    詳細	最小：4トークン 平均：12.6トークン 最大：70トークン	最小：4トークン 平均：14.82トークン 最大：239トークン	最小：4トークン 平均：13.78トークン 最大：128トークン

  • サンプル：

    anchor	positive	negative
    نعم , نعم , أو رأيت " تشيما بارا ديسو "	نعم، أو "تشيما بارا ديسو" كانت تلك التي شاهدتها	أنا لم أرى "تشيما بارا ديسو".
    رجل وامرأة يجلسان على الشاطئ بينما تغرب الشمس	هناك رجل وامرأة يجلسان على الشاطئ	إنهم يشاهدون شروق الشمس
    كيف أسيطر على غضبي؟	ما هي أفضل طريقة للسيطرة على الغضب؟	كيف أعرف إن كانت زوجتي تخونني؟

  • 損失関数：MatryoshkaLoss、パラメータは以下の通り：

    {
        "loss": "MultipleNegativesRankingLoss",
        "matryoshka_dims": [
            768,
            512,
            256,
            128,
            64
        ],
        "matryoshka_weights": [
            1,
            1,
            1,
            1,
            1
        ],
        "n_dims_per_step": -1
    }
    

訓練ハイパーパラメータ

非デフォルトのハイパーパラメータ

• eval_strategy：ステップごとに評価
• per_device_train_batch_size：16
• per_device_eval_batch_size：16
• learning_rate：2e-05
• num_train_epochs：5
• warmup_ratio：0.1
• fp16：True
• batch_sampler：重複なしのサンプル

すべてのハイパーパラメータ

訓練ログ

フレームワークのバージョン

• Python: 3.10.13
• Sentence Transformers: 3.0.1
• Transformers: 4.42.3
• PyTorch: 2.1.2
• Accelerate: 0.32.1
• Datasets: 2.20.0
• Tokenizers: 0.19.1

📚 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning}, 
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}