Sentence Transformers All Mini Lm L6 V2

🚀 句子转换器

本项目对 sentence-transformers/all-MiniLM-L6-v2 进行了分叉，因为它与目标数据集和用例相似。更多详细信息，请查看预训练模型权重仓库。

• https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2
• 提交哈希：7dbbc90392e2f80f3d3c277d6e90027e55de9125

✨ 主要特性

• 基于 sentence-transformers/all-MiniLM-L6-v2 进行分叉，适用于特定的数据集和用例。
• 通过对比目标进行模型微调。
• 计算批次中所有可能句子对的余弦相似度，并应用交叉熵损失。

📚 详细文档

微调

• 使用对比目标对模型进行微调。
• 计算批次中每个可能句子对的余弦相似度。
• 通过与真实对进行比较，应用交叉熵损失。

超参数

• 使用 1024 的批次大小（每个 TPU 核心 128），对模型进行 100k 步的训练。
• 使用 500 的学习率预热。
• 序列长度限制为 128 个标记。
• 使用 AdamW 优化器，学习率为 2e-5。
• 完整的训练脚本可在当前仓库中找到：train_script.py。

性能

数据集

📄 许可证

本项目采用 Apache-2.0 许可证。