All Mpnet Base V2 Embedding All

🚀 all-mpnet-base-v2-embedding-all

このモデルは、all-mpnet-base-v2 を以下のデータセットでファインチューニングしたバージョンです。squad、newsqa、LLukas22/cqadupstack、LLukas22/fiqa、LLukas22/scidocs、deepset/germanquad、LLukas22/nq。

🚀 クイックスタート

📦 インストール

sentence-transformers をインストールすると、このモデルを簡単に使用できます。

pip install -U sentence-transformers

💻 使用例

基本的な使用法

from sentence_transformers import SentenceTransformer
sentences = ["This is an example sentence", "Each sentence is converted"]

model = SentenceTransformer('LLukas22/all-mpnet-base-v2-embedding-all')
embeddings = model.encode(sentences)
print(embeddings)

🔧 技術詳細

トレーニングのハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

• learning_rate: 1E+00
• per device batch size: 60
• effective batch size: 180
• seed: 42
• optimizer: AdamW with betas (0.9,0.999) and eps 1E-08
• weight decay: 2E-02
• D-Adaptation: True
• Warmup: True
• number of epochs: 15
• mixed_precision_training: bf16

トレーニング結果

評価結果

フレームワークのバージョン

• Transformers: 4.25.1
• PyTorch: 2.0.0.dev20230210+cu118
• PyTorch Lightning: 1.8.6
• Datasets: 2.7.1
• Tokenizers: 0.13.1
• Sentence Transformers: 2.2.2

📚 ドキュメント

このモデルは、修士論文 'Evaluation of transformer based language models for use in service information systems' の一環としてトレーニングされました。ソースコードは Github で公開されています。

📄 ライセンス

このモデルは、Apache-2.0 ライセンスの下で提供されています。