Gte Multilingual Mlm Base

🚀 gte-multilingual-mlm-base

mGTE 系列是全新的通用文本編碼器、嵌入和重排序模型，支持 75 種語言，上下文長度最長可達 8192。這些模型基於 transformer++ 編碼器骨幹（BERT + RoPE + GLU，代碼參考 Alibaba-NLP/new-impl）以及 XLM-R 的詞彙表構建。這個文本編碼器（在我們的 論文 中為 mGTE-MLM-8192）在 GLUE 和 XTREME-R 任務上均優於同規模的先前最優模型 XLM-R-base。

✨ 主要特性

• 多語言支持：支持 75 種語言，包括但不限於阿拉伯語、英語、中文、日語等。
• 長上下文處理：能夠處理最長達 8192 的上下文長度。
• 性能優越：在 GLUE 和 XTREME - R 任務上表現優於同規模的先前最優模型。

📚 詳細文檔

模型信息

模型列表

訓練詳情

訓練數據

• 掩碼語言模型（MLM）：c4-en、mc4、skypile、Wikipedia、CulturaX 等（參考 論文附錄 A.1）

訓練過程

為使骨幹模型支持 8192 的上下文長度，採用了多階段訓練策略。模型首先在較短長度上進行初步的 MLM 預訓練，然後重新採樣數據，減少短文本的比例，並繼續進行 MLM 預訓練。整個訓練過程如下：

• MLM - 2048：學習率 2e - 4，掩碼概率 0.3，批量大小 8192，步數 250k，RoPE 基數 10000
• MLM - 8192：學習率 5e - 5，掩碼概率 0.3，批量大小 2048，步數 30k，RoPE 基數 160000

評估結果

引用

如果您發現我們的論文或模型有幫助，請考慮按以下方式引用：

@misc{zhang2024mgtegeneralizedlongcontexttext,
  title={mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval}, 
  author={Xin Zhang and Yanzhao Zhang and Dingkun Long and Wen Xie and Ziqi Dai and Jialong Tang and Huan Lin and Baosong Yang and Pengjun Xie and Fei Huang and Meishan Zhang and Wenjie Li and Min Zhang},
  year={2024},
  eprint={2407.19669},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  url={https://arxiv.org/abs/2407.19669}, 
}

📄 許可證

本項目採用 Apache - 2.0 許可證。