Multi Qa V1 Distilbert Mean Cos

🚀 multi-qa_v1-distilbert-mean_cos

SentenceTransformersは、与えられたデータから文章埋め込みをトレーニングおよび生成することができる一連のモデルとフレームワークです。生成された文章埋め込みは、クラスタリング、意味検索などのタスクに利用することができます。このモデルでは、事前学習済みのdistilbert-base-uncasedモデルを使用し、シアメーズネットワークの設定と対照学習の目的でトレーニングを行いました。StackExchangeの質問と回答のペアをトレーニングデータとして使用し、質問/回答の埋め込みの類似性に対してロバストなモデルを作成しました。このモデルでは、隠れ状態の平均プーリングを文章埋め込みとして使用しています。

このモデルは、Hugging Faceが主催するCommunity week using JAX/Flax for NLP & CVの間に開発されました。このモデルは、Train the Best Sentence Embedding Model Ever with 1B Training Pairsというプロジェクトの一環として開発されました。このプロジェクトを実行するために、7台のTPU v3-8という効率的なハードウェアインフラストラクチャを利用し、GoogleのFlax、JAX、およびCloudチームのメンバーから、効率的なディープラーニングフレームワークに関する支援を受けました。

🚀 クイックスタート

このモデルは、検索エンジンの文章エンコーダーとして使用することを目的としています。入力文章が与えられると、文章の意味情報を捉えたベクトルを出力します。この文章ベクトルは、意味検索、クラスタリング、または文章類似性タスクに使用することができます。

✨ 主な機能

• 文章埋め込みの生成が可能で、クラスタリングや意味検索などのタスクに利用できます。
• StackExchangeの質問と回答のペアをトレーニングデータとして使用しているため、質問/回答の埋め込みの類似性に対してロバストです。

📦 インストール

このモデルを使用するには、SentenceTransformersライブラリが必要です。

💻 使用例

基本的な使用法

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('flax-sentence-embeddings/multi-qa_v1-distilbert-mean_cos')
text = "Replace me by any question / answer you'd like."
text_embbedding = model.encode(text)
# array([-0.01559514,  0.04046123,  0.1317083 ,  0.00085931,  0.04585106,
#        -0.05607086,  0.0138078 ,  0.03569756,  0.01420381,  0.04266302 ...],
#        dtype=float32)

📚 ドキュメント

モデルの詳細

SentenceTransformersは、与えられたデータから文章埋め込みをトレーニングおよび生成することができる一連のモデルとフレームワークです。生成された文章埋め込みは、クラスタリング、意味検索などのタスクに利用することができます。このモデルでは、事前学習済みのdistilbert-base-uncasedモデルを使用し、シアメーズネットワークの設定と対照学習の目的でトレーニングを行いました。StackExchangeの質問と回答のペアをトレーニングデータとして使用し、質問/回答の埋め込みの類似性に対してロバストなモデルを作成しました。このモデルでは、隠れ状態の平均プーリングを文章埋め込みとして使用しています。

想定される用途

このモデルは、検索エンジンの文章エンコーダーとして使用することを目的としています。入力文章が与えられると、文章の意味情報を捉えたベクトルを出力します。この文章ベクトルは、意味検索、クラスタリング、または文章類似性タスクに使用することができます。

トレーニング手順

事前学習

事前学習済みのdistilbert-base-uncasedモデルを使用しています。事前学習手順の詳細については、モデルカードを参照してください。

ファインチューニング

対照学習の目的でモデルをファインチューニングしました。正式には、バッチ内のすべての可能な文章ペアからコサイン類似度を計算し、真のペアと比較してクロスエントロピー損失を適用します。

ハイパーパラメータ

このモデルはTPU v3-8でトレーニングされました。バッチサイズ1024（TPUコアあたり128）で80kステップのトレーニングを行いました。学習率のウォームアップは500ステップとし、シーケンス長は128トークンに制限されています。AdamWオプティマイザーを使用し、学習率は2e-5としました。完全なトレーニングスクリプトは、このリポジトリで入手可能です。

トレーニングデータ

複数のStackexchangeの質問と回答のデータセットを連結して、このモデルをファインチューニングしました。MSMARCO、NQ、およびその他の質問と回答のデータセットも使用されています。