Sentence Transformers All Mini Lm L6 V2

🚀 Sentence Transformers

Sentence Transformersは、文の類似度を計算するためのモデルです。対象のデータセットやユースケースに近い sentence-transformers/all-MiniLM-L6-v2 をフォークしています。詳細については、事前学習済みモデルの重みリポジトリをご確認ください。

• https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2
• コミットハッシュ: 7dbbc90392e2f80f3d3c277d6e90027e55de9125

✨ 主な機能

• 文の類似度を計算することができます。
• 事前学習済みモデルをフォークしているため、高速に学習することができます。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

このREADMEにはコード例が記載されていないため、このセクションをスキップします。

📚 ドキュメント

ファインチューニング

• モデルを対照的な目的関数を使用してファインチューニングします。
• バッチ内のすべての可能な文のペアからコサイン類似度を計算します。
• その後、真のペアと比較して交差エントロピー損失を適用します。

ハイパーパラメータ

• バッチサイズ1024（TPUコアあたり128）で100kステップの間モデルを学習させます。
• 学習率のウォームアップを500ステップ行います。
• シーケンス長を128トークンに制限します。
• 学習率2e-5のAdamWオプティマイザを使用します。
• 完全な学習スクリプトは、このリポジトリ内の train_script.py でアクセスできます。

性能

データセット

🔧 技術詳細

このREADMEには具体的な技術的な説明が50文字以上記載されていないため、このセクションをスキップします。

📄 ライセンス

このモデルは apache-2.0 ライセンスの下で提供されています。