Roberta Base Nli Stsb Bg

🚀 ROBERTA BASE (區分大小寫) 在保加利亞語 - 英語私有平行數據上訓練

這是一個多語言Roberta模型，可用於創建保加利亞語句子的嵌入向量。

該模型借鑑了 Sentence - BERT 的思想，其訓練基於這樣一個理念：翻譯後的句子應與原句在向量空間中映射到相同位置。

此模型區分大小寫，即“bulgarian”和“Bulgarian”是不同的。

它在保加利亞語 - 英語私有平行數據上進行訓練。

🚀 快速開始

模型信息

模型特點

• 多語言Roberta模型，用於保加利亞語句子嵌入。
• 基於Sentence - BERT思想訓練，使翻譯句和原句在向量空間映射到相同位置。
• 區分大小寫。

訓練數據

該模型在保加利亞語 - 英語私有平行數據上進行訓練。

💻 使用示例

基礎用法

>>> import scipy
>>> import torch
>>> from transformers import AutoModel, AutoTokenizer
>>> 
>>> model = AutoModel.from_pretrained('rmihaylov/roberta-base-nli-stsb-bg')
>>> tokenizer = AutoTokenizer.from_pretrained('rmihaylov/roberta-base-nli-stsb-bg')
>>>
>>> def embed(text):
>>>     inputs = tokenizer.encode_plus(text, return_tensors='pt')
>>>     outputs = model(**inputs)
>>>     sequence_output = outputs[0]
>>>     input_mask_expanded = inputs['attention_mask'].unsqueeze(-1).expand(sequence_output.size()).float()
>>>     embeddings = torch.sum(sequence_output * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)
>>>     return embeddings.detach().numpy()[0]
>>> 
>>> 
>>> query_embedding = embed("Какви са съставките на бисквитките?")
>>> 
>>> questions = [
>>>     "Какво е бисквитка?",
>>>     "От какво са направени бисквитките?",
>>>     "Използват ли в Англия думата бисквитки?",
>>>     "Къде се правят бисквитките?",
>>>     "Какви видове бисквитки има?",
>>>     "Къде човек може да купи бисквитки?",
>>>     "Откъде дойде думата бисквитка?",
>>>     "Кое е чудовището на бисквитките?",
>>>     "Как да си направите бисквитки у дома?",
>>>     "Колко калории има типичната бисквитка?",
>>>     "Какви напитки вървят добре с бисквитките?",
>>>     "Бисквитките наричат ли се също сладки?"
>>>     ]
>>> 
>>> corpus, corpus_embeddings = [], []
>>> for question in questions:
>>>     embedding = embed(question)
>>>     corpus.append(question)
>>>     corpus_embeddings.append(embedding)
>>> 
>>> distances = scipy.spatial.distance.cdist([query_embedding], corpus_embeddings, "cosine")[0]
>>> 
>>> results = zip(range(len(distances)), distances)
>>> results = sorted(results, key=lambda x: x[1])
>>> 
>>> print([[corpus[idx].strip(), (1.0 - distance)] for idx, distance in results])

[['Какви видове бисквитки има?', 0.9749538412820795],
 ['От какво са направени бисквитките?', 0.9720467855849998],
 ['Къде се правят бисквитките?', 0.9622582076645853],
 ['Какво е бисквитка?', 0.9352896865855094],
 ['Използват ли в Англия думата бисквитки?', 0.8981422328370646],
 ['Откъде дойде думата бисквитка?', 0.8955433698658758],
 ['Кое е чудовището на бисквитките?', 0.8902666858687854],
 ['Бисквитките наричат ли се също сладки?', 0.8839303534407483],
 ['Какви напитки вървят добре с бисквитките?', 0.8582087653310524],
 ['Къде човек може да купи бисквитки?', 0.8570532540073935],
 ['Колко калории има типичната бисквитка?', 0.8387529949080176],
 ['Как да си направите бисквитки у дома?', 0.8243675958097614]]

📄 許可證

本模型使用的許可證為MIT。