All Datasets V4 Mpnet Base

🚀 flax-sentence-embeddings/all_datasets_v4_mpnet-base

このプロジェクトは、自己教師付きコントラスト学習を用いて、非常に大規模な文章レベルのデータセットで文章埋め込みモデルを訓練することを目的としています。

🚀 クイックスタート

このモデルは、文章エンコーダとして使用されることを目的としています。入力された文章を受け取り、その文章の意味情報を捉えたベクトルを出力します。この文章ベクトルは、情報検索、クラスタリング、または文章類似度タスクに使用できます。

✨ 主な機能

• 文章の意味情報を捉えたベクトルを出力することができます。
• 情報検索、クラスタリング、文章類似度タスクなどに利用可能です。

📦 インストール

このモデルを使用するには、SentenceTransformers ライブラリが必要です。

💻 使用例

基本的な使用法

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('flax-sentence-embeddings/all_datasets_v4_mpnet-base')
text = "Replace me by any text you'd like."
text_embbedding = model.encode(text)
# array([-0.01559514,  0.04046123,  0.1317083 ,  0.00085931,  0.04585106,
#        -0.05607086,  0.0138078 ,  0.03569756,  0.01420381,  0.04266302 ...],
#        dtype=float32)

📚 ドキュメント

モデルの説明

このプロジェクトは、自己教師付きコントラスト学習の目的で、非常に大規模な文章レベルのデータセットで文章埋め込みモデルを訓練することを目指しています。事前学習済みの 'mpnet-base' モデルを使用し、10億文ペアのデータセットで微調整を行いました。コントラスト学習の目的を使用しています。つまり、ペアからの文章が与えられた場合、モデルは、ランダムにサンプリングされた他の文章のセットの中から、実際にデータセットでその文章とペアになっている文章を予測する必要があります。

このモデルは、Hugging Faceによって主催された Community week using JAX/Flax for NLP & CV の間に開発されました。このモデルは、Train the Best Sentence Embedding Model Ever with 1B Training Pairs というプロジェクトの一部として開発されました。このプロジェクトを実行するために、7台のTPU v3 - 8という効率的なハードウェアインフラストラクチャを利用するとともに、GoogleのFlax、JAX、およびCloudチームのメンバーから、効率的な深層学習フレームワークに関する助言を得ました。

想定される用途

このモデルは、文章エンコーダとして使用することを想定しています。入力された文章が与えられると、文章の意味情報を捉えたベクトルを出力します。この文章ベクトルは、情報検索、クラスタリング、または文章類似度タスクに使用できます。

🔧 技術詳細

事前学習

事前学習済みの 'mpnet-base' を使用しています。事前学習手順の詳細については、モデルカードを参照してください。

微調整

微調整では、コントラスト目的を使用してモデルを訓練します。形式的には、バッチ内のすべての可能な文章ペアからコサイン類似度を計算し、真のペアと比較することで交差エントロピー損失を適用します。

ハイパーパラメータ

モデルはTPU v3 - 8上で訓練されました。バッチサイズ1024（TPUコアあたり128）で540,000ステップ訓練しました。学習率のウォームアップを500ステップ行い、シーケンス長は128トークンに制限されました。AdamWオプティマイザを使用し、学習率は2e - 5です。完全な訓練スクリプトは、現在のリポジトリで入手できます。

訓練データ

複数のデータセットを連結してモデルを微調整しました。文章ペアの総数は10億文を超えています。各データセットは、data_config.json ファイルに詳細が記載されている重み付き確率に基づいてサンプリングされました。