Gte Multilingual Base V2.1 Similarity
这是一个基于BookingCare/gte-multilingual-base-v2.1微调的句子转换器模型,用于计算句子相似度和语义搜索任务。
下载量 21
发布时间 : 2/18/2025
模型简介
该模型将句子和段落映射到768维稠密向量空间,可用于语义文本相似度、语义搜索、复述挖掘、文本分类、聚类等任务。
模型特点
高准确率
在测试集上达到96.9%的余弦准确率
长文本支持
最大序列长度支持8192个token
多语言能力
基于多语言基础模型,支持多种语言的句子相似度计算
高效训练
使用三元组损失函数进行优化,有效区分正负样本
模型能力
计算句子相似度
语义搜索
复述挖掘
文本分类
文本聚类
使用案例
医疗信息检索
医院服务查询
帮助用户查找特定医院提供的医疗服务信息
能准确匹配相似但表述不同的医疗查询
症状匹配
将患者症状描述与医疗知识库中的专业描述进行匹配
提高医疗信息检索的准确性
客户服务
常见问题匹配
将客户问题与知识库中的常见问题进行相似度匹配
提高自动问答系统的准确率
🚀 基于BookingCare/gte-multilingual-base-v2.1的句子转换器
这是一个基于sentence-transformers的模型,它在训练和测试数据集上对BookingCare/gte-multilingual-base-v2.1进行了微调。该模型可以将句子和段落映射到一个768维的密集向量空间,可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等任务。
✨ 主要特性
- 基于
BookingCare/gte-multilingual-base-v2.1
模型进行微调,适用于多语言场景。 - 能够将文本转换为768维的向量,方便进行语义相似度计算。
- 在Triplet任务上表现出色,余弦准确率达到0.969。
📦 安装指南
首先,安装Sentence Transformers
库:
pip install -U sentence-transformers
💻 使用示例
基础用法
from sentence_transformers import SentenceTransformer
# 从🤗 Hub下载模型
model = SentenceTransformer("BookingCare/gte-multilingual-base-v2.1-similarity")
# 运行推理
sentences = [
'Tôi muốn tìm hiểu về dịch vụ khám chữa bệnh tại phòng khám đa khoa Cầu Giấy.',
'Cho tôi biết thông tin về phòng khám đa khoa Cầu Giấy, cụ thể là dịch vụ khám chữa bệnh.',
'Những dịch vụ y tế nào được cung cấp tại bệnh viện Đa khoa Hà Nội?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
📚 详细文档
模型详情
模型描述
属性 | 详情 |
---|---|
模型类型 | 句子转换器 |
基础模型 | BookingCare/gte-multilingual-base-v2.1 |
最大序列长度 | 8192个标记 |
输出维度 | 768维 |
相似度函数 | 余弦相似度 |
训练数据集 | train、test |
模型来源
- 文档:Sentence Transformers Documentation
- 仓库:Sentence Transformers on GitHub
- Hugging Face:Sentence Transformers on Hugging Face
完整模型架构
SentenceTransformer(
(0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NewModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
(2): Normalize()
)
评估
指标
指标 | 值 |
---|---|
余弦准确率 | 0.969 |
训练详情
训练数据集
-
train:
- 数据集:train at 54473e6
- 大小:46,571个训练样本
- 列:
query
、answer
和negative
- 基于前1000个样本的近似统计信息:
查询 答案 负样本 类型 字符串 字符串 字符串 详情 - 最小:3个标记
- 平均:19.92个标记
- 最大:72个标记
- 最小:9个标记
- 平均:21.43个标记
- 最大:75个标记
- 最小:9个标记
- 平均:20.46个标记
- 最大:58个标记
- 样本:
查询 答案 负样本 Các bác sĩ đã đề nghị phẫu thuật để điều trị bệnh nhân bị ung thư gan giai đoạn cuối.
Bệnh nhân bị ung thư gan giai đoạn cuối đã được bác sĩ đề nghị phẫu thuật.
Bệnh nhân được chẩn đoán mắc bệnh ung thư giai đoạn cuối, và cơ hội phục hồi là rất thấp.
Cơn đau đầu của tôi bắt đầu vào sáng nay và đã trở nên tồi tệ hơn trong suốt cả ngày.
Tôi đã phải chịu đựng cơn đau đầu dữ dội suốt cả ngày, bắt đầu từ sáng sớm.
Tôi bị đau đầu nghiêm trọng, nên làm gì?
Mẹ tôi phải nhập viện vì bệnh tim.
Mẹ tôi bị bệnh tim và phải nhập viện để điều trị.
Bệnh nhân đã được chẩn đoán mắc bệnh tim trước đây.
- 损失函数:
TripletLoss
,参数如下:{ "distance_metric": "TripletDistanceMetric.EUCLIDEAN", "triplet_margin": 5 }
-
test:
- 数据集:test at 54473e6
- 大小:46,571个训练样本
- 列:
query
、answer
和negative
- 基于前1000个样本的近似统计信息:
查询 答案 负样本 类型 字符串 字符串 字符串 详情 - 最小:3个标记
- 平均:20.12个标记
- 最大:62个标记
- 最小:9个标记
- 平均:21.51个标记
- 最大:54个标记
- 最小:9个标记
- 平均:20.19个标记
- 最大:56个标记
- 样本:
查询 答案 负样本 Tôi cần tìm hiểu về bệnh u nang buồng trứng, triệu chứng, phương pháp điều trị và những lưu ý
Cho tôi biết thông tin về bệnh u nang buồng trứng, bao gồm các triệu chứng, cách điều trị và những điểm cần chú ý
Cho tôi thông tin về bệnh ung thư vú
Tôi muốn tìm hiểu về các loại thuốc trị bệnh dạ dày
Cho tôi biết thông tin về thuốc điều trị bệnh dạ dày
Làm ơn cho tôi biết về các loại thuốc điều trị bệnh tiểu đường
Viêm khớp tâm bình có thể bị thu hồi hoàn toàn không?
Liệu viêm khớp tâm bình có thể khỏi hẳn hay không?
Viêm khớp dạng thấp có khả năng chữa khỏi hoàn toàn hay không?
- 损失函数:
TripletLoss
,参数如下:{ "distance_metric": "TripletDistanceMetric.EUCLIDEAN", "triplet_margin": 5 }
评估数据集
- sts-hard-negatives:
- 数据集:sts-hard-negatives at 54473e6
- 大小:46,571个评估样本
- 列:
query
、answer
和negative
- 基于前1000个样本的近似统计信息:
查询 答案 负样本 类型 字符串 字符串 字符串 详情 - 最小:3个标记
- 平均:20.12个标记
- 最大:62个标记
- 最小:9个标记
- 平均:21.51个标记
- 最大:54个标记
- 最小:9个标记
- 平均:20.19个标记
- 最大:56个标记
- 样本:
查询 答案 负样本 Tôi cần tìm hiểu về bệnh u nang buồng trứng, triệu chứng, phương pháp điều trị và những lưu ý
Cho tôi biết thông tin về bệnh u nang buồng trứng, bao gồm các triệu chứng, cách điều trị và những điểm cần chú ý
Cho tôi thông tin về bệnh ung thư vú
Tôi muốn tìm hiểu về các loại thuốc trị bệnh dạ dày
Cho tôi biết thông tin về thuốc điều trị bệnh dạ dày
Làm ơn cho tôi biết về các loại thuốc điều trị bệnh tiểu đường
Viêm khớp tâm bình có thể bị thu hồi hoàn toàn không?
Liệu viêm khớp tâm bình có thể khỏi hẳn hay không?
Viêm khớp dạng thấp có khả năng chữa khỏi hoàn toàn hay không?
- 损失函数:
TripletLoss
,参数如下:{ "distance_metric": "TripletDistanceMetric.EUCLIDEAN", "triplet_margin": 5 }
训练超参数
- 非默认超参数:
eval_strategy
: stepsper_device_train_batch_size
: 16per_device_eval_batch_size
: 16num_train_epochs
: 4warmup_ratio
: 0.1fp16
: True
所有超参数
点击展开
overwrite_output_dir
: Falsedo_predict
: Falseeval_strategy
: stepsprediction_loss_only
: Trueper_device_train_batch_size
: 16per_device_eval_batch_size
: 16per_gpu_train_batch_size
: Noneper_gpu_eval_batch_size
: Nonegradient_accumulation_steps
: 1eval_accumulation_steps
: Nonetorch_empty_cache_steps
: Nonelearning_rate
: 5e-05weight_decay
: 0.0adam_beta1
: 0.9adam_beta2
: 0.999adam_epsilon
: 1e-08max_grad_norm
: 1.0num_train_epochs
: 4max_steps
: -1lr_scheduler_type
: linearlr_scheduler_kwargs
: {}warmup_ratio
: 0.1warmup_steps
: 0log_level
: passivelog_level_replica
: warninglog_on_each_node
: Truelogging_nan_inf_filter
: Truesave_safetensors
: Truesave_on_each_node
: Falsesave_only_model
: Falserestore_callback_states_from_checkpoint
: Falseno_cuda
: Falseuse_cpu
: Falseuse_mps_device
: Falseseed
: 42data_seed
: Nonejit_mode_eval
: Falseuse_ipex
: Falsebf16
: Falsefp16
: Truefp16_opt_level
: O1half_precision_backend
: autobf16_full_eval
: Falsefp16_full_eval
: Falsetf32
: Nonelocal_rank
: 0ddp_backend
: Nonetpu_num_cores
: Nonetpu_metrics_debug
: Falsedebug
: []dataloader_drop_last
: Falsedataloader_num_workers
: 0dataloader_prefetch_factor
: Nonepast_index
: -1disable_tqdm
: Falseremove_unused_columns
: Truelabel_names
: Noneload_best_model_at_end
: Falseignore_data_skip
: Falsefsdp
: []fsdp_min_num_params
: 0fsdp_config
: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap
: Noneaccelerator_config
: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}deepspeed
: Nonelabel_smoothing_factor
: 0.0optim
: adamw_torchoptim_args
: Noneadafactor
: Falsegroup_by_length
: Falselength_column_name
: lengthddp_find_unused_parameters
: Noneddp_bucket_cap_mb
: Noneddp_broadcast_buffers
: Falsedataloader_pin_memory
: Truedataloader_persistent_workers
: Falseskip_memory_metrics
: Trueuse_legacy_prediction_loop
: Falsepush_to_hub
: Falseresume_from_checkpoint
: Nonehub_model_id
: Nonehub_strategy
: every_savehub_private_repo
: Nonehub_always_push
: Falsegradient_checkpointing
: Falsegradient_checkpointing_kwargs
: Noneinclude_inputs_for_metrics
: Falseinclude_for_metrics
: []eval_do_concat_batches
: Truefp16_backend
: autopush_to_hub_model_id
: Nonepush_to_hub_organization
: Nonemp_parameters
:auto_find_batch_size
: Falsefull_determinism
: Falsetorchdynamo
: Noneray_scope
: lastddp_timeout
: 1800torch_compile
: Falsetorch_compile_backend
: Nonetorch_compile_mode
: Nonedispatch_batches
: Nonesplit_batches
: Noneinclude_tokens_per_second
: Falseinclude_num_input_tokens_seen
: Falseneftune_noise_alpha
: Noneoptim_target_modules
: Nonebatch_eval_metrics
: Falseeval_on_start
: Falseuse_liger_kernel
: Falseeval_use_gather_object
: Falseaverage_tokens_across_devices
: Falseprompts
: Nonebatch_sampler
: batch_samplermulti_dataset_batch_sampler
: proportional
训练日志
轮次 | 步数 | 训练损失 | 验证损失 | 余弦准确率 |
---|---|---|---|---|
0.0763 | 200 | 4.7 | 4.4035 | 0.9647 |
0.1527 | 400 | 4.5516 | 4.2237 | 0.9435 |
0.2290 | 600 | 4.415 | 4.1196 | 0.9458 |
0.3053 | 800 | 4.3305 | 4.0727 | 0.9427 |
0.3817 | 1000 | 4.2839 | 4.0611 | 0.9323 |
0.4580 | 1200 | 4.2436 | 4.0407 | 0.9339 |
0.5344 | 1400 | 4.2053 | 4.0485 | 0.9218 |
0.6107 | 1600 | 4.2176 | 4.0233 | 0.9275 |
0.6870 | 1800 | 4.1828 | 3.9883 | 0.9308 |
0.7634 | 2000 | 4.1132 | 3.9867 | 0.9296 |
0.8397 | 2200 | 4.0697 | 3.9551 | 0.9277 |
0.9160 | 2400 | 4.0714 | 3.9313 | 0.9265 |
0.9924 | 2600 | 4.0625 | 3.9284 | 0.9239 |
1.0687 | 2800 | 4.0286 | 3.9026 | 0.9275 |
1.1450 | 3000 | 3.9907 | 3.9427 | 0.9213 |
1.2214 | 3200 | 4.0341 | 3.9621 | 0.9210 |
1.2977 | 3400 | 4.0037 | 3.9111 | 0.9260 |
1.3740 | 3600 | 4.013 | 3.9063 | 0.9289 |
1.4504 | 3800 | 3.9897 | 3.8785 | 0.9377 |
1.5267 | 4000 | 3.9658 | 3.8765 | 0.9368 |
1.6031 | 4200 | 3.9903 | 3.8619 | 0.9389 |
1.6794 | 4400 | 3.9599 | 3.8734 | 0.9339 |
1.7557 | 4600 | 3.9375 | 3.8636 | 0.9399 |
1.8321 | 4800 | 3.9197 | 3.8382 | 0.9404 |
1.9084 | 5000 | 3.9611 | 3.8310 | 0.9444 |
1.9847 | 5200 | 3.9434 | 3.8272 | 0.9427 |
2.0611 | 5400 | 3.8825 | 3.8157 | 0.9447 |
2.1374 | 5600 | 3.8859 | 3.8231 | 0.9430 |
2.2137 | 5800 | 3.8924 | 3.7948 | 0.9501 |
2.2901 | 6000 | 3.8957 | 3.7889 | 0.9504 |
2.3664 | 6200 | 3.8511 | 3.7722 | 0.9528 |
2.4427 | 6400 | 3.8598 | 3.7654 | 0.9561 |
2.5191 | 6600 | 3.8472 | 3.7569 | 0.9554 |
2.5954 | 6800 | 3.8558 | 3.7496 | 0.9528 |
2.6718 | 7000 | 3.829 | 3.7514 | 0.9552 |
2.7481 | 7200 | 3.8564 | 3.7346 | 0.9568 |
2.8244 | 7400 | 3.8392 | 3.7338 | 0.9599 |
2.9008 | 7600 | 3.8003 | 3.7309 | 0.9604 |
2.9771 | 7800 | 3.7936 | 3.7288 | 0.9611 |
3.0534 | 8000 | 3.7783 | 3.7181 | 0.9618 |
3.1298 | 8200 | 3.7586 | 3.7136 | 0.9652 |
3.2061 | 8400 | 3.7806 | 3.7101 | 0.9637 |
3.2824 | 8600 | 3.7669 | 3.7049 | 0.9628 |
3.3588 | 8800 | 3.7819 | 3.7024 | 0.9642 |
3.4351 | 9000 | 3.7685 | 3.6965 | 0.9628 |
3.5115 | 9200 | 3.7607 | 3.6920 | 0.9656 |
3.5878 | 9400 | 3.7601 | 3.6840 | 0.9652 |
3.6641 | 9600 | 3.7607 | 3.6791 | 0.9661 |
3.7405 | 9800 | 3.7387 | 3.6750 | 0.9692 |
3.8168 | 10000 | 3.724 | 3.6706 | 0.9707 |
3.8931 | 10200 | 3.7889 | 3.6682 | 0.9688 |
3.9695 | 10400 | 3.7525 | 3.6670 | 0.9690 |
框架版本
- Python: 3.11.11
- Sentence Transformers: 3.4.1
- Transformers: 4.48.3
- PyTorch: 2.5.1+cu124
- Accelerate: 1.3.0
- Datasets: 3.3.1
- Tokenizers: 0.21.0
📄 许可证
文档中未提及相关许可证信息。
📖 引用
BibTeX
Sentence Transformers
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
TripletLoss
@misc{hermans2017defense,
title={In Defense of the Triplet Loss for Person Re-Identification},
author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
year={2017},
eprint={1703.07737},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
Jina Embeddings V3
Jina Embeddings V3 是一个多语言句子嵌入模型,支持超过100种语言,专注于句子相似度和特征提取任务。
文本嵌入
Transformers 支持多种语言

J
jinaai
3.7M
911
Ms Marco MiniLM L6 V2
Apache-2.0
基于MS Marco段落排序任务训练的交叉编码器模型,用于信息检索中的查询-段落相关性评分
文本嵌入 英语
M
cross-encoder
2.5M
86
Opensearch Neural Sparse Encoding Doc V2 Distill
Apache-2.0
基于蒸馏技术的稀疏检索模型,专为OpenSearch优化,支持免推理文档编码,在搜索相关性和效率上优于V1版本
文本嵌入
Transformers 英语

O
opensearch-project
1.8M
7
Sapbert From PubMedBERT Fulltext
Apache-2.0
基于PubMedBERT的生物医学实体表征模型,通过自对齐预训练优化语义关系捕捉
文本嵌入 英语
S
cambridgeltl
1.7M
49
Gte Large
MIT
GTE-Large 是一个强大的句子转换器模型,专注于句子相似度和文本嵌入任务,在多个基准测试中表现出色。
文本嵌入 英语
G
thenlper
1.5M
278
Gte Base En V1.5
Apache-2.0
GTE-base-en-v1.5 是一个英文句子转换器模型,专注于句子相似度任务,在多个文本嵌入基准测试中表现优异。
文本嵌入
Transformers 支持多种语言

G
Alibaba-NLP
1.5M
63
Gte Multilingual Base
Apache-2.0
GTE Multilingual Base 是一个多语言的句子嵌入模型,支持超过50种语言,适用于句子相似度计算等任务。
文本嵌入
Transformers 支持多种语言

G
Alibaba-NLP
1.2M
246
Polybert
polyBERT是一个化学语言模型,旨在实现完全由机器驱动的超快聚合物信息学。它将PSMILES字符串映射为600维密集指纹,以数值形式表示聚合物化学结构。
文本嵌入
Transformers

P
kuelumbus
1.0M
5
Bert Base Turkish Cased Mean Nli Stsb Tr
Apache-2.0
基于土耳其语BERT的句子嵌入模型,专为语义相似度任务优化
文本嵌入
Transformers 其他

B
emrecan
1.0M
40
GIST Small Embedding V0
MIT
基于BAAI/bge-small-en-v1.5模型微调的文本嵌入模型,通过MEDI数据集与MTEB分类任务数据集训练,优化了检索任务的查询编码能力。
文本嵌入
Safetensors 英语
G
avsolatorio
945.68k
29
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98