Arabic SBERT 100K

🚀 Arabic-SBERT-100K

這是一個基於 sentence-transformers 框架，從 aubmindlab/bert-base-arabertv02 微調而來的模型。它能夠將句子和段落映射到一個 768 維的密集向量空間，可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。該模型在從 akhooli/arabic-triplets-1m-curated-sims-len 數據集中篩選出的 100K 樣本上進行訓練，其中 75K 用於訓練，25K 用於驗證。模型訓練了 5 個輪次，最終訓練損失為 0.133（使用 MatryoshkaLoss）。

✨ 主要特性

• 基於 sentence-transformers 框架微調，具有良好的語義表示能力。
• 可將句子和段落映射到 768 維的密集向量空間，適用於多種自然語言處理任務。
• 在阿拉伯語數據集上進行訓練，對阿拉伯語語義理解有較好的效果。

📦 安裝指南

首先，你需要安裝 sentence-transformers 庫：

pip install -U sentence-transformers

💻 使用示例

基礎用法

from sentence_transformers import SentenceTransformer

# 從 🤗 Hub 下載模型
model = SentenceTransformer("sentence_transformers_model_id")
# 運行推理
sentences = [
    'ما هو نوع الدهون الموجودة في الأفوكادو',
    'حوالي 15 في المائة من الدهون في الأفوكادو مشبعة ، مع كل كوب واحد من الأفوكادو المفروم يحتوي على 3.2 جرام من الدهون المشبعة ، وهو ما يمثل 16 في المائة من DV البالغ 20 جرامًا. تحتوي الأفوكادو في الغالب على دهون أحادية غير مشبعة ، مع 67 في المائة من إجمالي الدهون ، أو 14.7 جرامًا لكل كوب مفروم ، ويتكون من هذا النوع من الدهون.',
    'يمكن أن يؤدي ارتفاع مستوى الدهون الثلاثية ، وهي نوع من الدهون (الدهون) في الدم ، إلى زيادة خطر الإصابة بأمراض القلب ، ويمكن أن يؤدي توفير مستوى مرتفع من الدهون الثلاثية ، وهي نوع من الدهون (الدهون) في الدم ، إلى زيادة خطر الإصابة بأمراض القلب. مرض.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 獲取嵌入向量的相似度得分
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 詳細文檔

模型詳情

模型描述

模型來源

• 文檔：Sentence Transformers Documentation
• 倉庫：Sentence Transformers on GitHub
• Hugging Face：Sentence Transformers on Hugging Face

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

訓練詳情

訓練數據集

• 未命名數據集
  • 大小：75,000 個訓練樣本
  • 列：anchor、positive 和 negative
  • 基於前 1000 個樣本的近似統計信息：

    	anchor	positive	negative
    類型	字符串	字符串	字符串
    詳情	最小：4 個標記 平均：12.88 個標記 最大：58 個標記	最小：4 個標記 平均：13.74 個標記 最大：126 個標記	最小：4 個標記 平均：13.38 個標記 最大：146 個標記

  • 樣本：

    anchor	positive	negative
    هل تشاجر (سي إس لويس) و (جي آر آر تولكين) ؟ إن كان الأمر كذلك، فما هو السبب؟	هل صحيح أن (سي إس لويس) و (تولكين) تشاجرا؟	ما هي أفضل الكتب للدراسة في الجامعة؟
    ما هي اعراض فقر الدم؟	ما هي اعراض الانيميا؟	كيف احضر كيكة العسل؟
    من ستصوت له، دونالد ترامب أم هيلاري كلينتون؟	هل تؤيدون دونالد ترامب أم هيلاري كلينتون؟ لماذا؟	كيف أتغلب على إدمان المواد الإباحية؟

  • 損失函數：MatryoshkaLoss，參數如下：

    {
        "loss": "MultipleNegativesRankingLoss",
        "matryoshka_dims": [
            768,
            512,
            256,
            128,
            64
        ],
        "matryoshka_weights": [
            1,
            1,
            1,
            1,
            1
        ],
        "n_dims_per_step": -1
    }
    

評估數據集

• 未命名數據集
  • 大小：25,000 個評估樣本
  • 列：anchor、positive 和 negative
  • 基於前 1000 個樣本的近似統計信息：

    	anchor	positive	negative
    類型	字符串	字符串	字符串
    詳情	最小：4 個標記 平均：12.6 個標記 最大：70 個標記	最小：4 個標記 平均：14.82 個標記 最大：239 個標記	最小：4 個標記 平均：13.78 個標記 最大：128 個標記

  • 樣本：

    anchor	positive	negative
    نعم , نعم , أو رأيت " تشيما بارا ديسو "	نعم، أو "تشيما بارا ديسو" كانت تلك التي شاهدتها	أنا لم أرى "تشيما بارا ديسو".
    رجل وامرأة يجلسان على الشاطئ بينما تغرب الشمس	هناك رجل وامرأة يجلسان على الشاطئ	إنهم يشاهدون شروق الشمس
    كيف أسيطر على غضبي؟	ما هي أفضل طريقة للسيطرة على الغضب؟	كيف أعرف إن كانت زوجتي تخونني؟

  • 損失函數：MatryoshkaLoss，參數如下：

    {
        "loss": "MultipleNegativesRankingLoss",
        "matryoshka_dims": [
            768,
            512,
            256,
            128,
            64
        ],
        "matryoshka_weights": [
            1,
            1,
            1,
            1,
            1
        ],
        "n_dims_per_step": -1
    }
    

訓練超參數

非默認超參數

• eval_strategy：按步驟評估
• per_device_train_batch_size：16
• per_device_eval_batch_size：16
• learning_rate：2e-05
• num_train_epochs：5
• warmup_ratio：0.1
• fp16：True
• batch_sampler：無重複樣本

所有超參數

訓練日誌

框架版本

• Python: 3.10.13
• Sentence Transformers: 3.0.1
• Transformers: 4.42.3
• PyTorch: 2.1.2
• Accelerate: 0.32.1
• Datasets: 2.20.0
• Tokenizers: 0.19.1

📄 許可證

文檔中未提及許可證相關信息。

📚 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning}, 
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}