Albert Small Kor Cross Encoder V1

🚀 albert-small-kor-cross-encoder-v1

• 該模型是對albert-small-kor-v1模型進行訓練，並作為交叉編碼器（cross-encoder）進行微調得到的。
• 此模型使用 SentenceTransformers 的 Cross-Encoder 類進行訓練。

🚀 快速開始

安裝依賴

確保你已經安裝了 sentence_transformers 庫，如果沒有安裝，可以使用以下命令進行安裝：

pip install sentence-transformers

使用示例

from sentence_transformers import CrossEncoder
# 加載模型
model = CrossEncoder('bongsoo/albert-small-kor-cross-encoder-v1')
# 輸入句子對
scores = model.predict([('오늘 날씨가 좋다', '오늘 등산을 한다'), ('오늘 날씨가 흐리다', '오늘 비가 내린다')])
# 輸出預測分數
print(scores)

[0.45417202 0.6294121 ]

模型會對句子對 ('Sentence 1', 'Sentence 2') 和 ('Sentence 3', 'Sentence 4') 進行分數預測。

你也可以不使用 sentence_transformers，而是直接使用 Transformers 的 AutoModel 類來使用該模型。

✨ 主要特性

• 基於albert-small-kor-v1模型進行訓練和微調，作為交叉編碼器使用。
• 使用 SentenceTransformers 的 Cross-Encoder 類進行訓練。

📦 安裝指南

如果你想使用該模型，需要安裝 sentence_transformers 庫：

pip install sentence-transformers

🔧 技術細節

訓練過程

• 按照sts(10)-nli(3)-sts(10)-nli(3)-sts(10)的順序進行訓練（無distil訓練）。
• STS訓練：
  • 種子值 seed=111，訓練輪數 epoch=10，學習率 lr=1e-4，eps=1e-6，熱身步數 warm_step=10%，最大序列長度 max_seq_len=128，訓練批次大小 train_batch=128（小模型為 32）（albert 13m/7G）。訓練代碼
• NLI訓練：
  • 種子值 seed=111，訓練輪數 epoch=3，學習率 lr=3e-5，eps=1e-8，熱身步數 warm_step=10%，最大序列長度 max_seq_len=128，訓練批次大小 train_batch=64，評估批次大小 eval_bath=64（albert 2h/7G）。訓練代碼
• 評估代碼：評估代碼
• 測試代碼：測試代碼

評估結果

📄 許可證

本項目採用 Apache-2.0 許可證。