Gte En Mlm Base

🚀 gte-en-mlm-base

GTE-v1.5シリーズをご紹介します。これは、最大8192のコンテキスト長を持つ新しい汎用的なテキストエンコーダ、埋め込み、および再ランキングモデルです。これらのモデルは、Transformer++エンコーダバックボーン（BERT + RoPE + GLU、コードはAlibaba-NLP/new-implを参照）とbert-base-uncasedの語彙に基づいて構築されています。

このテキストエンコーダは、我々の論文の表13にあるGTEv1.5-en-MLM-base-8192です。

• 開発者: アリババグループ 知能計算研究所
• モデルタイプ: テキストエンコーダ
• 論文: mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval

🚀 クイックスタート

このモデルは、最大8192のコンテキスト長をサポートする汎用的なテキストエンコーダです。以下のセクションでは、モデルの詳細、トレーニング情報、評価結果、および引用情報を提供します。

✨ 主な機能

• 最大8192のコンテキスト長をサポート
• Transformer++エンコーダバックボーンを使用
• bert-base-uncasedの語彙を利用

📦 モデル一覧

🔧 技術詳細

トレーニングデータ

• マスク言語モデリング（MLM）: c4-en

トレーニング手順

バックボーンモデルが8192のコンテキスト長をサポートできるように、多段階トレーニング戦略を採用しました。モデルはまず、短い長さで予備的なMLM事前トレーニングを行います。その後、データを再サンプリングして短いテキストの割合を減らし、MLM事前トレーニングを続けます。

全体のトレーニングプロセスは以下の通りです。

• MLM-2048: lr 5e-4, mlm_probability 0.3, batch_size 4096, num_steps 70000, rope_base 10000
• MLM-8192: lr 5e-5, mlm_probability 0.3, batch_size 1024, num_steps 20000, rope_base 500000

📚 ドキュメント

評価結果

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。

📖 引用

もし我々の論文やモデルが役に立った場合は、以下のように引用していただけると幸いです。

@misc{zhang2024mgte,
  title={mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval}, 
  author={Xin Zhang and Yanzhao Zhang and Dingkun Long and Wen Xie and Ziqi Dai and Jialong Tang and Huan Lin and Baosong Yang and Pengjun Xie and Fei Huang and Meishan Zhang and Wenjie Li and Min Zhang},
  year={2024},
  eprint={2407.19669},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  url={https://arxiv.org/abs/2407.19669}, 
}