Sentence Transformers All Mini Lm L6 V2

🚀 句子轉換器

本項目對 sentence-transformers/all-MiniLM-L6-v2 進行了分叉，因為它與目標數據集和用例相似。更多詳細信息，請查看預訓練模型權重倉庫。

• https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2
• 提交哈希：7dbbc90392e2f80f3d3c277d6e90027e55de9125

✨ 主要特性

• 基於 sentence-transformers/all-MiniLM-L6-v2 進行分叉，適用於特定的數據集和用例。
• 通過對比目標進行模型微調。
• 計算批次中所有可能句子對的餘弦相似度，並應用交叉熵損失。

📚 詳細文檔

微調

• 使用對比目標對模型進行微調。
• 計算批次中每個可能句子對的餘弦相似度。
• 通過與真實對進行比較，應用交叉熵損失。

超參數

• 使用 1024 的批次大小（每個 TPU 核心 128），對模型進行 100k 步的訓練。
• 使用 500 的學習率預熱。
• 序列長度限制為 128 個標記。
• 使用 AdamW 優化器，學習率為 2e-5。
• 完整的訓練腳本可在當前倉庫中找到：train_script.py。

性能

數據集

📄 許可證

本項目採用 Apache-2.0 許可證。