🚀 albert-small-kor-sbert-v1
這是一個 sentence-transformers 模型,它可以將句子和段落映射到一個 768 維的密集向量空間,可用於聚類或語義搜索等任務。該模型基於 albert-small-kor-v1 模型通過 sentencebert 方法構建而成。
🚀 快速開始
本模型可通過兩種方式使用,分別是使用 sentence-transformers 庫和直接使用 HuggingFace Transformers 庫。下面將分別介紹這兩種使用方式。
📦 安裝指南
若要使用 sentence-transformers 來調用本模型,需先安裝該庫:
pip install -U sentence-transformers
💻 使用示例
基礎用法(Sentence-Transformers)
安裝好 sentence-transformers
後,就可以按如下方式使用該模型:
from sentence_transformers import SentenceTransformer
sentences = ["This is an example sentence", "Each sentence is converted"]
model = SentenceTransformer('bongsoo/albert-small-kor-sbert-v1')
embeddings = model.encode(sentences)
print(embeddings)
高級用法(HuggingFace Transformers)
若不使用 sentence-transformers,可以按以下步驟使用該模型:首先將輸入傳遞給 Transformer 模型,然後對上下文詞嵌入應用正確的池化操作。
from transformers import AutoTokenizer, AutoModel
import torch
def cls_pooling(model_output, attention_mask):
return model_output[0][:,0]
sentences = ['This is an example sentence', 'Each sentence is converted']
tokenizer = AutoTokenizer.from_pretrained('bongsoo/albert-small-kor-sbert-v1')
model = AutoModel.from_pretrained('bongsoo/albert-small-kor-sbert-v1')
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')
with torch.no_grad():
model_output = model(**encoded_input)
sentence_embeddings = cls_pooling(model_output, encoded_input['attention_mask'])
print("Sentence embeddings:")
print(sentence_embeddings)
📚 詳細文檔
評估結果
- 性能評估使用了以下韓語(kor)和英語(en)評估語料庫:
- 性能指標為 cosin.spearman
- 評估代碼請參考 這裡
模型 |
korsts |
klue-sts |
glue(stsb) |
stsb_multi_mt(en) |
distiluse-base-multilingual-cased-v2 |
0.7475 |
0.7855 |
0.8193 |
0.8075 |
paraphrase-multilingual-mpnet-base-v2 |
0.8201 |
0.7993 |
0.8907 |
0.8682 |
bongsoo/moco-sentencedistilbertV2.1 |
0.8390 |
0.8767 |
0.8805 |
0.8548 |
bongsoo/albert-small-kor-sbert-v1 |
0.8305 |
0.8588 |
0.8419 |
0.7965 |
如需對該模型進行自動評估,請參考 Sentence Embeddings Benchmark:https://seb.sbert.net
訓練過程
本模型基於 albert-small-kor-v1 模型,按照 sts(10)-distil(10)-nli(3)-sts(10) 的順序進行訓練。
訓練參數
- 通用參數:
- do_lower_case=1, correct_bios=0, polling_mode=cls
1. STS 訓練
- 語料庫:korsts(5,749) + kluestsV1.1(11,668) + stsb_multi_mt(5,749) + mteb/sickr-sts(9,927) + glue stsb(5,749)(總計:38,842)
- 參數:lr: 1e-4, eps: 1e-6, warm_step=10%, epochs: 10, train_batch: 32, eval_batch: 64, max_token_len: 72
- 訓練代碼:這裡
2. 蒸餾訓練
- 教師模型:paraphrase-multilingual-mpnet-base-v2(max_token_len:128)
- 語料庫:news_talk_en_ko_train.tsv(英語 - 韓語對話 - 新聞平行語料庫:1.38M)
- 參數:lr: 5e-5, eps: 1e-8, epochs: 10, train_batch: 32, eval/test_batch: 64, max_token_len: 128(與教師模型保持一致)
- 訓練代碼:這裡
3. NLI 訓練
- 語料庫:
- 訓練集(967,852):kornli(550,152)、kluenli(24,998)、glue-mnli(392,702)
- 評估集(3,519):korsts(1,500)、kluests(519)、gluests(1,500)
- 超參數:lr: 3e-5, eps: 1e-8, warm_step=10%, epochs: 3, train/eval_batch: 64, max_token_len: 128
- 訓練代碼:這裡
完整模型架構
SentenceTransformer(
(0): Transformer({'max_seq_length': 256, 'do_lower_case': True}) with Transformer model: AlbertModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False})
)
引用與作者
作者:bongsoo