All Datasets V3 Roberta Large

🚀 文章埋め込みモデル

このプロジェクトは、自己教師付きの対照学習目標を使用して、非常に大規模な文章レベルのデータセットで文章埋め込みモデルを学習させることを目的としています。事前学習済みのroberta-largeモデルを使用し、10億の文章ペアのデータセットで微調整を行いました。対照学習目標を使用しており、ペアからの文章が与えられた場合、モデルはランダムにサンプリングされた他の文章のセットの中から、実際にデータセットでその文章とペアになっているものを予測する必要があります。

🚀 クイックスタート

このモデルは、文章エンコーダとして使用することを目的としています。入力文章が与えられると、文章の意味情報を捉えたベクトルを出力します。この文章ベクトルは、情報検索、クラスタリング、または文章類似度タスクに使用できます。

✨ 主な機能

• 大規模な文章データセットを用いた学習により、高品質な文章埋め込みを実現。
• 対照学習目標を使用することで、文章間の関係をより良く捉えることができる。
• 文章の意味情報をベクトルとして出力し、情報検索やクラスタリングなどのタスクに利用可能。

📦 インストール

このモデルを使用するには、SentenceTransformersライブラリをインストールする必要があります。

💻 使用例

基本的な使用法

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('flax-sentence-embeddings/all_datasets_v3_roberta-large')
text = "Replace me by any text you'd like."
text_embbedding = model.encode(text)
# array([-0.01559514,  0.04046123,  0.1317083 ,  0.00085931,  0.04585106,
#        -0.05607086,  0.0138078 ,  0.03569756,  0.01420381,  0.04266302 ...],
#        dtype=float32)

📚 ドキュメント

モデルの意図された使用法

このモデルは、文章エンコーダとして使用することを目的としています。入力文章が与えられると、文章の意味情報を捉えたベクトルを出力します。この文章ベクトルは、情報検索、クラスタリング、または文章類似度タスクに使用できます。

学習手順

事前学習

事前学習済みのroberta-largeを使用しています。事前学習手順の詳細については、モデルカードを参照してください。

微調整

対照学習目標を使用してモデルを微調整します。正式には、バッチ内のすべての可能な文章ペアからコサイン類似度を計算します。その後、真のペアと比較することで交差エントロピー損失を適用します。

ハイパーパラメータ

• TPU v3 - 8でモデルを学習させました。
• バッチサイズ1024（TPUコアあたり128）で540kステップ学習しました。
• 学習率のウォームアップを500ステップ行いました。
• シーケンス長は128トークンに制限しました。
• AdamWオプティマイザを使用し、学習率は2e - 5です。
• 完全な学習スクリプトは、現在のリポジトリでアクセス可能です。

学習データ

複数のデータセットを連結してモデルを微調整しました。文章ペアの総数は10億文を超えています。各データセットは、重み付けされた確率に基づいてサンプリングされ、その構成はdata_config.jsonファイルに詳細が記載されています。