Multi Sentence BERTino
模型简介
该模型基于indigo-ai/BERTino训练,使用了意大利语的mmarco和stsb数据集,主要用于句子相似度计算和特征提取。
模型特点
意大利语支持
专门针对意大利语优化,能够有效处理意大利语句子和段落的语义表示。
高效向量化
将文本转换为768维的密集向量,便于后续的相似度计算和聚类分析。
多数据集训练
使用mmarco(20万条)和stsb两个意大利语数据集进行训练,提高了模型的泛化能力。
模型能力
句子相似度计算
文本特征提取
语义搜索
文本聚类
使用案例
信息检索
语义搜索
在意大利语文档集合中查找语义相似的句子或段落。
提高搜索结果的准确性和相关性
文本分析
文本聚类
将意大利语文本按语义相似度进行自动分组。
实现无监督的文本分类
🚀 多句子BERTino模型
这是一个用于句子相似度任务的模型,它能将句子和段落映射到768维的密集向量空间,可用于聚类或语义搜索等任务。该模型基于特定数据集训练,能有效处理相关自然语言处理任务。
🚀 快速开始
本模型可通过不同方式使用,下面将分别介绍不同库下的使用方法。
✨ 主要特性
- 基于 sentence-transformers 框架,能将句子和段落映射到768维的密集向量空间。
- 采用 indigo-ai/BERTino 进行训练,使用了 mmarco italian (200K) 和 stsb italian 数据集。
📦 安装指南
使用 sentence-transformers
库
安装 sentence-transformers
库:
pip install -U sentence-transformers
使用 FastEmbed
库
安装 FastEmbed
库:
pip install fastembed
💻 使用示例
使用 sentence-transformers
库
from sentence_transformers import SentenceTransformer
sentences = ["Una ragazza si acconcia i capelli.", "Una ragazza si sta spazzolando i capelli."]
model = SentenceTransformer('nickprock/multi-sentence-BERTino')
embeddings = model.encode(sentences)
print(embeddings)
使用 FastEmbed
库
from fastembed import TextEmbedding
from fastembed.common.model_description import PoolingType, ModelSource
sentences = ["Una ragazza si acconcia i capelli.", "Una ragazza si sta spazzolando i capelli."]
TextEmbedding.add_custom_model(
model="nickprock/multi-sentence-BERTino",
pooling=PoolingType.MEAN,
normalization=True,
sources=ModelSource(hf="nickprock/multi-sentence-BERTino"), # can be used with an `url` to load files from a private storage
dim=768,
model_file="onnx/model_qint8_avx512_vnni.onnx", # can be used to load an already supported model with another optimization or quantization, e.g. onnx/model_O4.onnx
)
model = TextEmbedding(model_name="nickprock/multi-sentence-BERTino")
embeddings = list(model.embed(sentences))
print(embeddings)
使用 HuggingFace Transformers
库
from transformers import AutoTokenizer, AutoModel
import torch
#Mean Pooling - Take attention mask into account for correct averaging
def mean_pooling(model_output, attention_mask):
token_embeddings = model_output[0] #First element of model_output contains all token embeddings
input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)
# Sentences we want sentence embeddings for
sentences = ['Una ragazza si acconcia i capelli.', 'Una ragazza si sta spazzolando i capelli.']
# Load model from HuggingFace Hub
tokenizer = AutoTokenizer.from_pretrained('nickprock/multi-sentence-BERTino')
model = AutoModel.from_pretrained('nickprock/multi-sentence-BERTino')
# Tokenize sentences
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')
# Compute token embeddings
with torch.no_grad():
model_output = model(**encoded_input)
# Perform pooling. In this case, mean pooling.
sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])
print("Sentence embeddings:")
print(sentence_embeddings)
📚 详细文档
评估结果
要对该模型进行自动评估,请参考 Sentence Embeddings Benchmark: https://seb.sbert.net
训练参数
该模型的训练参数如下:
数据加载器与损失函数设置
- DataLoader 1:
torch.utils.data.dataloader.DataLoader
长度为 31250,参数如下:
Loss 1:{'batch_size': 16, 'sampler': 'torch.utils.data.sampler.RandomSampler', 'batch_sampler': 'torch.utils.data.sampler.BatchSampler'}
sentence_transformers.losses.TripletLoss.TripletLoss
,参数为:{'distance_metric': 'TripletDistanceMetric.EUCLIDEAN', 'triplet_margin': 5}
- DataLoader 2:
torch.utils.data.dataloader.DataLoader
长度为 360,参数如下:
Loss 2:{'batch_size': 16, 'sampler': 'torch.utils.data.sampler.RandomSampler', 'batch_sampler': 'torch.utils.data.sampler.BatchSampler'}
sentence_transformers.losses.CosineSimilarityLoss.CosineSimilarityLoss
- DataLoader 3:
torch.utils.data.dataloader.DataLoader
长度为 31250,参数如下:
Loss 3:{'batch_size': 16, 'sampler': 'torch.utils.data.sampler.RandomSampler', 'batch_sampler': 'torch.utils.data.sampler.BatchSampler'}
sentence_transformers.losses.CachedMultipleNegativesRankingLoss.CachedMultipleNegativesRankingLoss
,参数为:{'scale': 20.0, 'similarity_fct': 'cos_sim'}
fit()
方法参数
{
"epochs": 10,
"evaluation_steps": 500,
"evaluator": "sentence_transformers.evaluation.EmbeddingSimilarityEvaluator.EmbeddingSimilarityEvaluator",
"max_grad_norm": 1,
"optimizer_class": "<class 'torch.optim.adamw.AdamW'>",
"optimizer_params": {
"lr": 2e-05
},
"scheduler": "WarmupLinear",
"steps_per_epoch": 1500,
"warmup_steps": 360,
"weight_decay": 0.01
}
完整模型架构
SentenceTransformer(
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: DistilBertModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False})
)
📄 许可证
本模型采用 MIT 许可证。
Jina Embeddings V3
Jina Embeddings V3 是一个多语言句子嵌入模型,支持超过100种语言,专注于句子相似度和特征提取任务。
文本嵌入
Transformers 支持多种语言

J
jinaai
3.7M
911
Ms Marco MiniLM L6 V2
Apache-2.0
基于MS Marco段落排序任务训练的交叉编码器模型,用于信息检索中的查询-段落相关性评分
文本嵌入 英语
M
cross-encoder
2.5M
86
Opensearch Neural Sparse Encoding Doc V2 Distill
Apache-2.0
基于蒸馏技术的稀疏检索模型,专为OpenSearch优化,支持免推理文档编码,在搜索相关性和效率上优于V1版本
文本嵌入
Transformers 英语

O
opensearch-project
1.8M
7
Sapbert From PubMedBERT Fulltext
Apache-2.0
基于PubMedBERT的生物医学实体表征模型,通过自对齐预训练优化语义关系捕捉
文本嵌入 英语
S
cambridgeltl
1.7M
49
Gte Large
MIT
GTE-Large 是一个强大的句子转换器模型,专注于句子相似度和文本嵌入任务,在多个基准测试中表现出色。
文本嵌入 英语
G
thenlper
1.5M
278
Gte Base En V1.5
Apache-2.0
GTE-base-en-v1.5 是一个英文句子转换器模型,专注于句子相似度任务,在多个文本嵌入基准测试中表现优异。
文本嵌入
Transformers 支持多种语言

G
Alibaba-NLP
1.5M
63
Gte Multilingual Base
Apache-2.0
GTE Multilingual Base 是一个多语言的句子嵌入模型,支持超过50种语言,适用于句子相似度计算等任务。
文本嵌入
Transformers 支持多种语言

G
Alibaba-NLP
1.2M
246
Polybert
polyBERT是一个化学语言模型,旨在实现完全由机器驱动的超快聚合物信息学。它将PSMILES字符串映射为600维密集指纹,以数值形式表示聚合物化学结构。
文本嵌入
Transformers

P
kuelumbus
1.0M
5
Bert Base Turkish Cased Mean Nli Stsb Tr
Apache-2.0
基于土耳其语BERT的句子嵌入模型,专为语义相似度任务优化
文本嵌入
Transformers 其他

B
emrecan
1.0M
40
GIST Small Embedding V0
MIT
基于BAAI/bge-small-en-v1.5模型微调的文本嵌入模型,通过MEDI数据集与MTEB分类任务数据集训练,优化了检索任务的查询编码能力。
文本嵌入
Safetensors 英语
G
avsolatorio
945.68k
29
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98