Araeurobert 210M

🚀 Ara - EuroBERT：針對阿拉伯語優化的句子轉換器

Ara - EuroBERT是一個基於sentence - transformers的模型，它從[EuroBERT/EuroBERT - 210m](https://huggingface.co/EuroBERT/EuroBERT - 210m)微調而來，專門針對阿拉伯語語義文本嵌入進行了優化。該模型能將句子和段落映射到一個768維的密集向量空間，並且最大序列長度可達8192個標記。

論文鏈接：

你可以在https://huggingface.co/EuroBERT/EuroBERT - 210m找到關於基礎模型的更多信息。


與基礎模型相比，我們微調後的模型有顯著改進。與基礎的EuroBERT - 210M相比，在STS17上實現了73.5%的相對提升，在STS22.v2上實現了21.6%的相對提升。

✨ 主要特性

• 語義文本嵌入：專門為阿拉伯語語義文本嵌入進行優化，能將句子和段落映射到768維的密集向量空間。
• 長序列處理：最大序列長度可達8192個標記，可處理較長的文本。
• 靈活的嵌入維度：採用Matryoshka表示學習進行訓練，無需重新訓練即可靈活調整嵌入維度。
• 性能提升：與基礎模型相比，在STS17和STS22.v2上有顯著的相對提升。

📦 安裝指南

pip install -U sentence-transformers

💻 使用示例

基礎用法

from sentence_transformers import SentenceTransformer

# 加載模型
model = SentenceTransformer("Omartificial-Intelligence-Space/AraEuroBert-210M")

# 編碼阿拉伯語句子
sentences = [
    'التقدم العلمي في مجال الذكاء الاصطناعي يتسارع بشكل ملحوظ في السنوات الأخيرة',
    'تطوير نماذج لغوية متقدمة يساهم في تحسين فهم اللغة العربية آليًا',
    'أصبحت تقنيات معالجة اللغات الطبيعية جزءًا أساسيًا من التطبيقات الحديثة',
    'يعاني الشرق الأوسط من تحديات مناخية متزايدة تهدد الأمن المائي والغذائي',
    'تراث الأدب العربي غني بالقصائد والروايات التي تعكس تاريخ وثقافة المنطقة',
]
embeddings = model.encode(sentences)
print(embeddings.shape)  # [3, 768]

# 獲取相似度分數
from sentence_transformers import util
similarities = util.cos_sim(embeddings, embeddings)
print(similarities)

高級用法

# 獲取不同維度的嵌入
embeddings_768 = model.encode(sentences)  # 默認：完整的768維
embeddings_256 = model.encode(sentences, truncate_dim=256)  # 僅使用256維
embeddings_64 = model.encode(sentences, truncate_dim=64)  # 僅使用64維

📚 詳細文檔

模型詳情

Matryoshka嵌入

該模型採用Matryoshka表示學習進行訓練，允許在不重新訓練的情況下靈活調整嵌入維度。你可以為了提高效率使用較小的維度（64、128、256、512），或者為了獲得最佳性能使用完整的768維。即使在降低維度的情況下，模型仍能保持較強的性能：

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: EuroBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

用例

該模型在各種阿拉伯語NLP任務中表現出色：

• 語義文本相似度
• 語義搜索和信息檢索
• 文檔聚類和分類
• 問答系統
• 釋義檢測
• 零樣本分類

訓練方法

• 損失函數：帶有MultipleNegativesRankingLoss的MatryoshkaLoss
• Matryoshka維度：[768, 512, 256, 128, 64]
• 批量大小：32
• 輪數：1（帶有提前停止機制）
• 優化器：AdamW
• 學習率：5e - 05，採用線性調度器和10%的熱身
• 硬件：多個NVIDIA GPU，採用混合精度（fp16）

基礎模型：EuroBERT

EuroBERT是一個新的多語言編碼器模型家族，專門為歐洲和廣泛使用的全球語言設計。與傳統的多語言編碼器相比，它具有以下優勢：

• 廣泛的多語言覆蓋：在包含15種語言的5萬億標記數據集上進行訓練。
• 先進的架構：使用分組查詢注意力、旋轉位置嵌入和RMS歸一化。
• 長上下文支持：原生支持處理多達8192個標記。
• 專業知識：包含數學和編程語言數據，以提高推理能力。

侷限性和建議

⚠️ 重要提示

• 該模型主要針對阿拉伯語文本進行優化，在其他語言上的性能可能不佳。
• 對於訓練數據中未充分體現的專業領域，性能可能會有所不同。

💡 使用建議

• 對於短文本（<5個單詞），考慮添加上下文以獲得更好的表示。
• 對於極長的文檔，考慮在編碼之前將其拆分為有意義的塊。

引用

如果您在研究中使用了該模型，請引用以下作品：

@misc{boizard2025eurobertscalingmultilingualencoders,
      title={EuroBERT: Scaling Multilingual Encoders for European Languages}, 
      author={Nicolas Boizard and Hippolyte Gisserot-Boukhlef and Duarte M. Alves and André Martins and Ayoub Hammal and Caio Corro and Céline Hudelot and Emmanuel Malherbe and Etienne Malaboeuf and Fanny Jourdan and Gabriel Hautreux and João Alves and Kevin El-Haddad and Manuel Faysse and Maxime Peyrard and Nuno M. Guerreiro and Patrick Fernandes and Ricardo Rei and Pierre Colombo},
      year={2025},
      eprint={2503.05500},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2503.05500}, 
}

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

模型索引

小部件示例

許可證

本模型使用的許可證與EuroBERT相同，為MIT許可證。