Gte Multilingual Mlm Base

🚀 gte-multilingual-mlm-base

mGTEシリーズを紹介します。これは、75の言語をサポートし、最大8192のコンテキスト長を持つ、新しい汎用テキストエンコーダ、埋め込み、および再ランキングモデルです。これらのモデルは、Transformer++エンコーダバックボーン（BERT + RoPE + GLU、コードはAlibaba-NLP/new-implを参照）とXLM-Rの語彙に基づいて構築されています。

このテキストエンコーダ（論文のmGTE-MLM-8192）は、同サイズの従来の最先端モデルXLM-R-baseを、GLUEとXTREME-Rの両方で上回っています。

• 開発者: アリババグループ インテリジェントコンピューティング研究所
• モデルタイプ: テキストエンコーダ
• 論文: mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval

モデル一覧

📚 ドキュメント

訓練データ

• マスク言語モデリング（MLM）: c4-en、mc4、skypile、Wikipedia、CulturaXなど（論文の付録A.1を参照）

訓練手順

バックボーンモデルが8192のコンテキスト長をサポートできるようにするために、多段階訓練戦略を採用しました。まず、モデルは短い長さで予備的なMLM事前訓練を行います。その後、データを再サンプリングして短いテキストの割合を減らし、MLM事前訓練を続けます。

全体の訓練プロセスは以下の通りです。

• MLM-2048: lr 2e-4、mlm_probability 0.3、batch_size 8192、num_steps 250k、rope_base 10000
• MLM-8192: lr 5e-5、mlm_probability 0.3、batch_size 2048、num_steps 30k、rope_base 160000

評価

引用

もし当社の論文やモデルが役に立った場合は、以下のように引用していただけると幸いです。

@misc{zhang2024mgtegeneralizedlongcontexttext,
  title={mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval}, 
  author={Xin Zhang and Yanzhao Zhang and Dingkun Long and Wen Xie and Ziqi Dai and Jialong Tang and Huan Lin and Baosong Yang and Pengjun Xie and Fei Huang and Meishan Zhang and Wenjie Li and Min Zhang},
  year={2024},
  eprint={2407.19669},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  url={https://arxiv.org/abs/2407.19669}, 
}

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。