Paraphrase Multilingual Mpnet Base V2 Embedding All

🚀 paraphrase-multilingual-mpnet-base-v2-embedding-all

このモデルは、paraphrase-multilingual-mpnet-base-v2 を以下のデータセットでファインチューニングしたバージョンです。squad、newsqa、LLukas22/cqadupstack、LLukas22/fiqa、LLukas22/scidocs、deepset/germanquad、LLukas22/nq。

🚀 クイックスタート

📦 インストール

sentence-transformers をインストールすると、このモデルを簡単に使用できます。

pip install -U sentence-transformers

💻 使用例

基本的な使用法

from sentence_transformers import SentenceTransformer
sentences = ["This is an example sentence", "Each sentence is converted"]

model = SentenceTransformer('LLukas22/paraphrase-multilingual-mpnet-base-v2-embedding-all')
embeddings = model.encode(sentences)
print(embeddings)

📚 詳細ドキュメント

🔧 技術詳細

トレーニングのハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 1E+00
• デバイスごとのバッチサイズ: 40
• 実効的なバッチサイズ: 120
• シード: 42
• オプティマイザ: AdamW（ベータ (0.9,0.999)、イプシロン 1E-08）
• 重み減衰: 2E-02
• D-Adaptation: True
• ウォームアップ: True
• エポック数: 15
• 混合精度トレーニング: bf16

トレーニング結果

評価結果

フレームワークのバージョン

• Transformers: 4.25.1
• PyTorch: 2.0.0.dev20230210+cu118
• PyTorch Lightning: 1.8.6
• Datasets: 2.7.1
• Tokenizers: 0.13.1
• Sentence Transformers: 2.2.2

追加情報

このモデルは、修士論文 'Evaluation of transformer based language models for use in service information systems' の一環としてトレーニングされました。ソースコードは Github で公開されています。

📄 ライセンス

このモデルは Apache-2.0 ライセンスの下で提供されています。