Gte En Mlm Base

🚀 gte-en-mlm-base

我們推出了 GTE-v1.5 系列，這是全新的通用文本編碼器、嵌入和重排序模型，其上下文長度可達 8192。這些模型基於 Transformer++ 編碼器主幹（BERT + RoPE + GLU，代碼參考 Alibaba-NLP/new-impl）以及 bert-base-uncased 的詞彙表構建。

此文本編碼器是我們 論文 表 13 中的 GTEv1.5-en-MLM-base-8192。

• 開發方：阿里巴巴集團智能計算研究所
• 模型類型：文本編碼器
• 論文：mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval

✨ 主要特性

• 推出 GTE-v1.5 系列，上下文長度高達 8192。
• 基於 Transformer++ 編碼器主幹和 bert-base-uncased 詞彙表構建。

📚 詳細文檔

模型列表

訓練詳情

訓練數據

• 掩碼語言模型（MLM）：c4-en

訓練過程

為使主幹模型支持 8192 的上下文長度，我們採用了多階段訓練策略。模型首先在較短長度上進行初步的 MLM 預訓練，然後對數據進行重採樣，減少短文本的比例，並繼續進行 MLM 預訓練。

整個訓練過程如下：

• MLM - 2048：學習率 5e - 4，掩碼概率 0.3，批次大小 4096，步數 70000，RoPE 基數 10000
• MLM - 8192：學習率 5e - 5，掩碼概率 0.3，批次大小 1024，步數 20000，RoPE 基數 500000

評估

引用

如果您發現我們的論文或模型有幫助，請考慮按以下方式引用：

@misc{zhang2024mgte,
  title={mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval}, 
  author={Xin Zhang and Yanzhao Zhang and Dingkun Long and Wen Xie and Ziqi Dai and Jialong Tang and Huan Lin and Baosong Yang and Pengjun Xie and Fei Huang and Meishan Zhang and Wenjie Li and Min Zhang},
  year={2024},
  eprint={2407.19669},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  url={https://arxiv.org/abs/2407.19669}, 
}

📄 許可證

本項目採用 Apache - 2.0 許可證。