Gte En Mlm Large

🚀 gte-en-mlm-large

我們推出了 GTE-v1.5 系列，這是全新的通用文本編碼器、嵌入和重排序模型，其上下文長度可達 8192。這些模型基於 Transformer++ 編碼器骨幹架構（BERT + RoPE + GLU，代碼參考 Alibaba-NLP/new-impl）以及 bert-base-uncased 的詞彙表構建。

此文本編碼器是我們 論文 表 13 中的 GTEv1.5-en-MLM-large-8192。

• 開發者：阿里巴巴集團智能計算研究所
• 模型類型：文本編碼器
• 論文：mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval

🚀 快速開始

本項目介紹了 GTE-v1.5 系列模型，它具有長上下文處理能力，適用於文本編碼、嵌入和重排序等任務。

✨ 主要特性

• 上下文長度可達 8192，能處理長文本。
• 基於 Transformer++ 編碼器骨幹架構，結合了 BERT、RoPE 和 GLU。
• 使用 bert-base-uncased 的詞彙表。

📚 詳細文檔

模型列表

訓練詳情

訓練數據

• 掩碼語言模型（MLM）：c4-en

訓練過程

為使骨幹模型支持 8192 的上下文長度，我們採用了多階段訓練策略。模型首先在較短長度上進行初步的 MLM 預訓練，然後重新採樣數據，減少短文本的比例，並繼續進行 MLM 預訓練。

整個訓練過程如下：

• MLM - 512：學習率 2e - 4，掩碼概率 0.3，批量大小 4096，步數 300000，RoPE 基數 10000
• MLM - 2048：學習率 5e - 5，掩碼概率 0.3，批量大小 4096，步數 30000，RoPE 基數 10000
• MLM - 8192：學習率 5e - 5，掩碼概率 0.3，批量大小 1024，步數 30000，RoPE 基數 160000

評估

引用

如果您認為我們的論文或模型有幫助，請考慮按以下方式引用：

@misc{zhang2024mgte,
  title={mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval}, 
  author={Xin Zhang and Yanzhao Zhang and Dingkun Long and Wen Xie and Ziqi Dai and Jialong Tang and Huan Lin and Baosong Yang and Pengjun Xie and Fei Huang and Meishan Zhang and Wenjie Li and Min Zhang},
  year={2024},
  eprint={2407.19669},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  url={https://arxiv.org/abs/2407.19669}, 
}

📄 許可證

本項目採用 Apache - 2.0 許可證。