模型概述
模型特點
模型能力
使用案例
🚀 基於sergeyzh/rubert-tiny-turbo的句子轉換器模型
本模型基於 sentence-transformers 框架,從 sergeyzh/rubert-tiny-turbo 微調而來。它能夠將句子和段落映射到312維的稠密向量空間,可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。
✨ 主要特性
- 模型類型:句子轉換器
- 基礎模型:sergeyzh/rubert-tiny-turbo
- 最大序列長度:2048個詞元
- 輸出維度:312維
- 相似度函數:餘弦相似度
📦 安裝指南
首先安裝Sentence Transformers庫:
pip install -U sentence-transformers
💻 使用示例
基礎用法
from sentence_transformers import SentenceTransformer
# 從🤗 Hub下載模型
model = SentenceTransformer("denis-gordeev/reranker_dialog_items_biencoder_rubert-tiny-turbo-6")
# 運行推理
sentences = [
'Подбери моющий пылесос',
"{'long_web_name': 'Видеокамера Sony HDR-CX405', 'price': 60219.0, 'url': 'https://megamarket.ru/catalog/details/videokamera-cifrovaya-full-hd-sony-hdr-cx405-black-100000032906/', 'image_link': 'https://main-cdn.sbermegamarket.ru/mid9/hlr-system/1484948/100000032906b0.jpg', 'id': '100000032906', 'description': '<p>Цифровая видеокамера Sony HDR-CX405 Black оснащена широкоугольным объективом, который дает большие возможности для съемки пейзажей и в условиях стесненного пространства. Функция распознавания лиц используется для автоматической оптимизации фокуса, цветопередачи и выдержки: при прикосновении к жидкокристаллическому дисплею производится определение центрального объекта, и даже если он покинет сцену, то все равно будет занесен в память устройства, а при повторном появлении в кадре снова станет приоритетным.</p><h2>Особенности и преимущества</h2><ul><li> Встроенный кабель USB. Уложен в наручный ремешок. Благодаря ему отпадает необходимость носить с собой громоздкое зарядное устройство.</li><li> Motion Shot Video. Режим обеспечивает воспроизведение серии наложенных изображений и позволяет проследить перемещение объекта, при этом можно регулировать интервал, а также остановить показ, чтобы сделать снимок.</li><li> Двухформатная запись. Видеоконтент записывается одновременно в двух форматах XAVC S и AVCHD.</li><li> Интеллектуальный автоматический режим. Опция автоматически определяет тип сюжета и оптимизирует настройки. </li><li> Продолжительность работы. Съемный аккумулятор обеспечивает до 2,5 часа непрерывной съемки.</li></ul>', 'rating': 5.0, 'review_count': 21}",
"{'long_web_name': 'Холодильник LIEBHERR CUEL 2331 серебристый, серый', 'price': 63918.0, 'description': '', 'rating': 4.67, 'review_count': 6}",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 312]
# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
📚 詳細文檔
評估指標
二分類任務
- 數據集:
item-classification
- 評估方法:使用
BinaryClassificationEvaluator
進行評估
指標 | 值 |
---|---|
餘弦準確率 | 0.971 |
餘弦準確率閾值 | 0.7607 |
餘弦F1值 | 0.9073 |
餘弦F1值閾值 | 0.7602 |
餘弦精確率 | 0.8525 |
餘弦召回率 | 0.9696 |
餘弦平均精度 | 0.9636 |
訓練詳情
訓練數據集
- 未命名數據集
- 大小:48,599個訓練樣本
- 列:
anchor
、text
和label
- 基於前1000個樣本的近似統計信息:
anchor text label 類型 字符串 字符串 整數 詳情 - 最小:5個詞元
- 平均:18.58個詞元
- 最大:170個詞元
- 最小:52個詞元
- 平均:320.76個詞元
- 最大:1158個詞元
- 0:約82.70%
- 1:約17.30%
- 樣本示例:
anchor text label расскажи про умную колонку SberBoom
{'long_web_name': 'Колонка умная Sber Sberboom Home туманная', 'price': 5990.0, 'description': 'Умная колонка Sber Sberboom Home «Туманная» поддерживает голосовое управление благодаря виртуальному ассистенту «Салют» с интеграцией искусственного интеллекта GigaChat. LED-дисплей показывает время, информацию о погоде и дорожном трафике. Яркость можно регулировать автоматически. Модуль Zigbee объединяет устройства в умный дом и может управлять ими. Технология Magnetic Sound позволяет добиться насыщенного чистого звука с глубокими басами. Реализован режим совместной работы с телевизорами Sber и медиацентрами SberBox. Есть универсальный разъем USB Type C. Корпус с фактурным переплетением нитей выполнен из приятного на ощупь матового пластика — обладает высокой стойкостью к царапинам и выцветанию. Водоотталкивающая пропитка защищает от влаги. Просто ухаживать — достаточно протереть салфеткой.', 'rating': 4.5, 'review_count': 76, 'extra_info': ''}
0
расскажи об айфоне https://megamarket.ru/catalog/details/smartfon-a
{'long_web_name': 'Охлаждающая подставка для ноутбука KS-IS KS-740 до 19"', 'price': 3290.0, 'url': 'https://megamarket.ru/catalog/details/ohlazhdayushaya-podstavka-dlya-noutbuka-ks-is-ks-740-do-19-600010906101/', 'image_link': 'https://main-cdn.sbermegamarket.ru/mid9/hlr-system/-12/806/641/346/181/21/600010906101b0.jpeg', 'id': '600010906101', 'description': 'Охлаждающая подставка для ноутбука с монолитной конструкцией и тремя вентиляторами (80 мм), вращающимся со скоростью 2000об/мин, значительно рассеивает тепло от ноутбука, обеспечивает его хорошее рабочее состояние и продлевает срок службы. вашего ноутбука. Прочная охлаждающая подставка для ноутбука Поверхность охлаждающей подставки изготовлена из алюминиевого сплава, который может отводить тепло от ноутбука, улучшать рассеивание тепла и обеспечивает вашему ноутбуку износостойкую и прочную поверхность для переноски, что позволяет перевозить, положив его в сумку для ноутбука. Охлаждающая подставка для ноутбука с 3 регулировками по ...
0
помоги подобрать бытовую технику
холодильник до 80 тысяч
Расскажи, что умеешь{'long_web_name': 'Холодильник Beko B5RCNK403ZW белый', 'price': 43990.0, 'description': '
Холодильник Beko B5RCNK403ZW - идеальное решение для хранения продуктов с максимальным комфортом и минимальным энергопотреблением.
\nСуперэкономичный и функциональный
\nБлагодаря классу энергоэффективности A+++, этот холодильник поможет вам снизить затраты на электричество, экономя ваше время и деньги. С инверторным компрессором он обеспечивает бесшумную работу и долгий срок службы. Большая вместительность холодильника позволяет удобно разместить все необходимые продукты, сохраняя их свежесть.
\n- \n
- Объемная морозильная камера позволяет хранить большое количество замороженных продуктов без проблем. \n
- No Frost система автоматически размораживает холодильник, освобождая вас от необходимости регулярной процедуры размораживания. \n
- Электронное управление делает настройку температуры и режимов работы максимально простой и удобной. \n
- Перенавешиваемые двер...
1
- 損失函數:
ContrastiveLoss
,參數如下:{ "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE", "margin": 0.5, "size_average": true }
評估數據集
- 未命名數據集
- 大小:6,075個評估樣本
- 列:
anchor
、text
和label
- 基於前1000個樣本的近似統計信息:
anchor text label 類型 字符串 字符串 整數 詳情 - 最小:5個詞元
- 平均:19.09個詞元
- 最大:319個詞元
- 最小:52個詞元
- 平均:321.31個詞元
- 最大:1464個詞元
- 0:約84.20%
- 1:約15.80%
- 樣本示例:
anchor text label помоги подобрать игровой смартфон
частота обновления дисплея от 100 герц, высокий рейтинг, цена до 40 тысяч{'long_web_name': 'Вспышка Godox TT350S для Sony', 'price': 10790.0, 'url': 'https://megamarket.ru/catalog/details/fotovspyshka-godox-thinklite-tt350s-dlya-sony-600005626620/', 'image_link': 'https://main-cdn.sbermegamarket.ru/mid9/hlr-system/-68/526/847/329/183/4/600005626620b0.jpeg', 'id': '600005626620', 'description': 'Компактная фотовспышка, предназначенная для использования с камерами Sony.Производитель утверждает, что устройство совместимо с камерами Sony a7R II, a7R, а также А58 и a77ll. Некоторые модели RX также способны выполнить сопряжение со вспышкой.Радиоуправляемая система позволяет TT350S работать вместе с другими радио фотовспышками GODOX и студийными головками. Устройство может работать в качестве ведущего или ведомого света в нескольких наборах. Три группы запрограммированы в систему управления вместе с 16 каналами, в то время как максимальный рабочий диапазон составляет 30м. Высокая скорость синхронизации обеспечивается через режим HSS, который может работать с выдер...
0
хочу купить кофеварку с учетом сбербонусов
{'long_web_name': 'Кофеварка капельного типа Bosch TKA 6A043', 'price': 8999.0, 'description': 'Коротко о товаретип используемого кофе: молотыйтип напитка: американонастройки: крепость кофе, жесткость водыдоп. функции: автоотключение при неиспользовании, автоматическая декальцинация, противокапельная системаособенности конструкции: индикатор уровня воды, отсек для шнура, плита автоподогрева, вращающийся фильтродержатель, индикатор включенияфильтр: одноразовыйматериал корпуса: пластик', 'rating': 4.9, 'review_count': 13, 'extra_info': ''}
1
помоги подобрать смартфон
андроид, встроенная память от 128гб, цена от 30 до 37 тысяч
покажи еще
Расскажи, что умеешь
покажи еще
а если все гуд то в реди ту мерж или реди ту деплой? деплой это уже последний статус перед продом видимо
сравни все предложенные товары{'long_web_name': 'Кухонный комбайн Bosch MUMS2EW40 white', 'price': 32319.0, 'url': 'https://megamarket.ru/catalog/details/kuhonnyy-kombayn-bosch-mums2ew40-white-600005246990/', 'image_link': 'https://main-cdn.sbermegamarket.ru/mid9/hlr-system/-15/835/560/551/210/143/3/600005246990b0.jpeg', 'id': '600005246990', 'description': '
Мощный кухонный комбайн Bosch MUMS2EW40 white - идеальный помощник для приготовления различных блюд в домашних условиях. С его помощью ты сможешь быстро и легко приготовить все необходимые ингредиенты для любимых рецептов.
\nБезупречное качество работы
\nСочетание функциональности и надежности делает данный комбайн незаменимым инструментом на кухне. Благодаря индикатору работы, ты можешь контролировать процесс приготовления, не отвлекаясь на постоянную проверку. Блендер в комплекте позволяет легко приготовить пюре, смузи или другие жидкие блюда.
\n- \n
- Поворотное управление обеспечивает удобство использования и позволяет изменять скорос...
0
- 損失函數:
ContrastiveLoss
,參數如下:{ "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE", "margin": 0.5, "size_average": true }
訓練超參數
非默認超參數
eval_strategy
:按步數評估per_device_train_batch_size
:16per_device_eval_batch_size
:16num_train_epochs
:1warmup_ratio
:0.1fp16
:Trueload_best_model_at_end
:Truebatch_sampler
:無重複採樣
所有超參數
點擊展開
overwrite_output_dir
:Falsedo_predict
:Falseeval_strategy
:按步數評估prediction_loss_only
:Trueper_device_train_batch_size
:16per_device_eval_batch_size
:16per_gpu_train_batch_size
:Noneper_gpu_eval_batch_size
:Nonegradient_accumulation_steps
:1eval_accumulation_steps
:Nonetorch_empty_cache_steps
:Nonelearning_rate
:5e-05weight_decay
:0.0adam_beta1
:0.9adam_beta2
:0.999adam_epsilon
:1e-08max_grad_norm
:1.0num_train_epochs
:1max_steps
:-1lr_scheduler_type
:線性lr_scheduler_kwargs
:{}warmup_ratio
:0.1warmup_steps
:0log_level
:被動log_level_replica
:警告log_on_each_node
:Truelogging_nan_inf_filter
:Truesave_safetensors
:Truesave_on_each_node
:Falsesave_only_model
:Falserestore_callback_states_from_checkpoint
:Falseno_cuda
:Falseuse_cpu
:Falseuse_mps_device
:Falseseed
:42data_seed
:Nonejit_mode_eval
:Falseuse_ipex
:Falsebf16
:Falsefp16
:Truefp16_opt_level
:O1half_precision_backend
:自動bf16_full_eval
:Falsefp16_full_eval
:Falsetf32
:Nonelocal_rank
:0ddp_backend
:Nonetpu_num_cores
:Nonetpu_metrics_debug
:Falsedebug
:[]dataloader_drop_last
:Falsedataloader_num_workers
:0dataloader_prefetch_factor
:Nonepast_index
:-1disable_tqdm
:Falseremove_unused_columns
:Truelabel_names
:Noneload_best_model_at_end
:Trueignore_data_skip
:Falsefsdp
:[]fsdp_min_num_params
:0fsdp_config
:{'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap
:Noneaccelerator_config
:{'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}deepspeed
:Nonelabel_smoothing_factor
:0.0optim
:adamw_torchoptim_args
:Noneadafactor
:Falsegroup_by_length
:Falselength_column_name
:lengthddp_find_unused_parameters
:Noneddp_bucket_cap_mb
:Noneddp_broadcast_buffers
:Falsedataloader_pin_memory
:Truedataloader_persistent_workers
:Falseskip_memory_metrics
:Trueuse_legacy_prediction_loop
:Falsepush_to_hub
:Falseresume_from_checkpoint
:Nonehub_model_id
:Nonehub_strategy
:每次保存時推送hub_private_repo
:Nonehub_always_push
:Falsegradient_checkpointing
:Falsegradient_checkpointing_kwargs
:Noneinclude_inputs_for_metrics
:Falseinclude_for_metrics
:[]eval_do_concat_batches
:Truefp16_backend
:自動push_to_hub_model_id
:Nonepush_to_hub_organization
:Nonemp_parameters
:auto_find_batch_size
:Falsefull_determinism
:Falsetorchdynamo
:Noneray_scope
:lastddp_timeout
:1800torch_compile
:Falsetorch_compile_backend
:Nonetorch_compile_mode
:Nonedispatch_batches
:Nonesplit_batches
:Noneinclude_tokens_per_second
:Falseinclude_num_input_tokens_seen
:Falseneftune_noise_alpha
:Noneoptim_target_modules
:Nonebatch_eval_metrics
:Falseeval_on_start
:Falseuse_liger_kernel
:Falseeval_use_gather_object
:Falseaverage_tokens_across_devices
:Falseprompts
:Nonebatch_sampler
:無重複採樣multi_dataset_batch_sampler
:按比例採樣
訓練日誌
輪次 | 步數 | 訓練損失 | 驗證損失 | 物品分類餘弦平均精度 |
---|---|---|---|---|
0 | 0 | - | 0.0243 | 0.3310 |
0.0329 | 100 | 0.0158 | - | - |
0.0658 | 200 | 0.0097 | - | - |
0.0823 | 250 | - | 0.0057 | 0.7787 |
0.0987 | 300 | 0.0058 | - | - |
0.1317 | 400 | 0.0051 | - | - |
0.1646 | 500 | 0.0046 | 0.0047 | 0.8786 |
0.1975 | 600 | 0.0041 | - | - |
0.2304 | 700 | 0.0043 | - | - |
0.2469 | 750 | - | 0.0041 | 0.9098 |
0.2633 | 800 | 0.0046 | - | - |
0.2962 | 900 | 0.0042 | - | - |
0.3292 | 1000 | 0.0043 | 0.0036 | 0.9235 |
0.3621 | 1100 | 0.0038 | - | - |
0.3950 | 1200 | 0.0041 | - | - |
0.4115 | 1250 | - | 0.0037 | 0.9334 |
0.4279 | 1300 | 0.0034 | - | - |
0.4608 | 1400 | 0.004 | - | - |
0.4937 | 1500 | 0.0037 | 0.0033 | 0.9408 |
0.5267 | 1600 | 0.0036 | - | - |
0.5596 | 1700 | 0.0035 | - | - |
0.5760 | 1750 | - | 0.0030 | 0.9517 |
0.5925 | 1800 | 0.0035 | - | - |
0.6254 | 1900 | 0.0035 | - | - |
0.6583 | 2000 | 0.0037 | 0.0029 | 0.9558 |
0.6912 | 2100 | 0.0029 | - | - |
0.7242 | 2200 | 0.0033 | - | - |
0.7406 | 2250 | - | 0.0028 | 0.9580 |
0.7571 | 2300 | 0.0031 | - | - |
0.7900 | 2400 | 0.0032 | - | - |
0.8229 | 2500 | 0.0031 | 0.0027 | 0.9629 |
0.8558 | 2600 | 0.0029 | - | - |
0.8887 | 2700 | 0.0029 | - | - |
0.9052 | 2750 | - | 0.0027 | 0.9632 |
0.9217 | 2800 | 0.0033 | - | - |
0.9546 | 2900 | 0.0028 | - | - |
0.9875 | 3000 | 0.0031 | 0.0026 | 0.9636 |
1.0 | 3038 | - | 0.0026 | 0.9636 |
加粗行表示保存的檢查點。
框架版本
- Python:3.10.13
- Sentence Transformers:3.3.1
- Transformers:4.47.1
- PyTorch:2.2.1
- Accelerate:1.2.1
- Datasets:3.2.0
- Tokenizers:0.21.0
📄 許可證
BibTeX引用
Sentence Transformers
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
ContrastiveLoss
@inproceedings{hadsell2006dimensionality,
author={Hadsell, R. and Chopra, S. and LeCun, Y.},
booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)},
title={Dimensionality Reduction by Learning an Invariant Mapping},
year={2006},
volume={2},
number={},
pages={1735-1742},
doi={10.1109/CVPR.2006.100}
}







