Stackoverflow Mpnet Base

🚀 stackoverflow_mpnet-base

このモデルは、StackOverflowの18,562,443個の（タイトル、本文）ペアを使用して学習されたmicrosoft/mpnet-baseモデルです。SentenceTransformersは、与えられたデータから文埋め込みを学習および生成するための一連のモデルとフレームワークです。生成された文埋め込みは、クラスタリング、意味検索などのタスクに利用できます。

🚀 クイックスタート

このモデルは、検索エンジンの文エンコーダーとして使用することを目的としています。入力文が与えられると、文の意味情報を捉えたベクトルを出力します。この文ベクトルは、意味検索、クラスタリング、または文の類似度タスクに使用できます。

✨ 主な機能

• SentenceTransformersを使用して、文埋め込みを生成できます。
• 生成された文埋め込みをクラスタリング、意味検索などのタスクに利用できます。
• 事前学習済みのmicrosoft/mpnet-baseモデルを使用し、Siamese Networkと対照学習を用いて学習されています。

📦 インストール

このモデルを使用するには、SentenceTransformersライブラリが必要です。以下のコマンドでインストールできます。

pip install sentence-transformers

💻 使用例

基本的な使用法

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('flax-sentence-embeddings/stackoverflow_mpnet-base')
text = "Replace me by any question / answer you'd like."
text_embbedding = model.encode(text)
# array([-0.01559514,  0.04046123,  0.1317083 ,  0.00085931,  0.04585106,
#        -0.05607086,  0.0138078 ,  0.03569756,  0.01420381,  0.04266302 ...],
#        dtype=float32)

📚 ドキュメント

学習手順

事前学習

事前学習済みのmicrosoft/mpnet-baseモデルを使用しています。事前学習手順の詳細については、モデルカードを参照してください。

ファインチューニング

対照学習の目的でモデルをファインチューニングしています。具体的には、バッチ内のすべての可能な文ペアからコサイン類似度を計算し、真のペアと比較してクロスエントロピー損失を適用します。

ハイパーパラメータ

• モデルはTPU v3-8上で学習されました。
• バッチサイズ1024（TPUコアあたり128）で80kステップ学習しました。
• 学習率のウォームアップは500ステップで行いました。
• シーケンス長は128トークンに制限されました。
• AdamWオプティマイザーを使用し、学習率は2e-5です。
• 完全な学習スクリプトはこのリポジトリにあります。

学習データ

StackOverflowの18,562,443個の（タイトル、本文）ペアを学習データとして使用しました。