🚀 bge-m3 英文和俄文模型
bge-m3 英文和俄文模型是 BAAI/bge-m3 經過分詞器縮減後的版本。該模型的詞彙表僅保留了英文和俄文的標記,詞彙表大小縮減至原模型的 21%,整個模型的參數數量為原模型的 63.3%,但英文和俄文嵌入的質量並未受到損失。
🚀 快速開始
安裝依賴
使用該模型前,你需要安裝 sentence-transformers 庫:
pip install -U sentence-transformers
使用示例
基礎用法(使用 sentence-transformers 庫)
from sentence_transformers import SentenceTransformer
sentences = ["This is an example sentence", "Each sentence is converted"]
model = SentenceTransformer('TatonkaHF/bge-m3_en_ru')
embeddings = model.encode(sentences)
print(embeddings)
高級用法(使用 HuggingFace Transformers 庫)
若未安裝 sentence-transformers 庫,你可以按以下方式使用該模型:首先將輸入傳遞給 Transformer 模型,然後對上下文詞嵌入應用正確的池化操作。
from transformers import AutoTokenizer, AutoModel
import torch
def mean_pooling(model_output, attention_mask):
token_embeddings = model_output[0]
input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)
sentences = ['This is an example sentence', 'Each sentence is converted']
tokenizer = AutoTokenizer.from_pretrained('TatonkaHF/bge-m3_en_ru')
model = AutoModel.from_pretrained('TatonkaHF/bge-m3_en_ru')
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')
with torch.no_grad():
model_output = model(**encoded_input)
sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])
print("Sentence embeddings:")
print(sentence_embeddings)
📚 詳細文檔
模型規格
其他 bge-m3 模型也進行了縮減,具體如下:
完整模型架構
SentenceTransformer(
(0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel
(1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
參考資料
許可證
本模型採用 MIT 許可證。