Albert Small Kor Cross Encoder V1

🚀 albert-small-kor-cross-encoder-v1

• albert-small-kor-v1モデルを訓練し、cross-encoderとして微調整したモデルです。
• このモデルは、SentenceTransformersのCross-Encoderクラスを使用して訓練されました。

🚀 クイックスタート

この事前学習済みモデルは、以下のように使用できます。

基本的な使用法

from sentence_transformers import CrossEncoder
model = CrossEncoder('bongsoo/albert-small-kor-cross-encoder-v1')
scores = model.predict([('오늘 날씨가 좋다', '오늘 등산을 한다'), ('오늘 날씨가 흐리다', '오늘 비가 내린다')])
print(scores)

[0.45417202 0.6294121 ]

モデルは、ペア('Sentence 1', 'Sentence 2')と('Sentence 3', 'Sentence 4')のスコアを予測します。

また、sentence_transformersを使用せずに、TransformersのAutoModelクラスを使用してこのモデルを使用することもできます。

📚 ドキュメント

訓練

• sts(10)-nli(3)-sts(10)-nli(3)-sts(10)で訓練を行いました（distil訓練は行っていません）。
• STS訓練 : seed=111、epoch=10、lr=1e-4、eps=1e-6、warm_step=10%、max_seq_len=128、train_batch=128（smallモデル=32） (albert 13m/7G) 訓練コード
• NLI訓練 : seed=111、epoch=3、lr=3e-5、eps=1e-8、warm_step=10%、max_seq_len=128、train_batch=64、eval_bath=64(albert 2h/7G) 訓練コード
• 評価コード、テストコード

評価結果

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。