Reranker Dialog Items Biencoder Rubert Tiny Turbo 6

🚀 基於sergeyzh/rubert-tiny-turbo的句子轉換器模型

本模型基於 sentence-transformers 框架，從 sergeyzh/rubert-tiny-turbo 微調而來。它能夠將句子和段落映射到312維的稠密向量空間，可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。

✨ 主要特性

• 模型類型：句子轉換器
• 基礎模型：sergeyzh/rubert-tiny-turbo
• 最大序列長度：2048個詞元
• 輸出維度：312維
• 相似度函數：餘弦相似度

📦 安裝指南

首先安裝Sentence Transformers庫：

pip install -U sentence-transformers

💻 使用示例

基礎用法

from sentence_transformers import SentenceTransformer

# 從🤗 Hub下載模型
model = SentenceTransformer("denis-gordeev/reranker_dialog_items_biencoder_rubert-tiny-turbo-6")
# 運行推理
sentences = [
    'Подбери моющий пылесос',
    "{'long_web_name': 'Видеокамера Sony HDR-CX405', 'price': 60219.0, 'url': 'https://megamarket.ru/catalog/details/videokamera-cifrovaya-full-hd-sony-hdr-cx405-black-100000032906/', 'image_link': 'https://main-cdn.sbermegamarket.ru/mid9/hlr-system/1484948/100000032906b0.jpg', 'id': '100000032906', 'description': '<p>Цифровая видеокамера Sony HDR-CX405 Black оснащена широкоугольным объективом, который дает большие возможности для съемки пейзажей и в условиях стесненного пространства. Функция распознавания лиц используется для автоматической оптимизации фокуса, цветопередачи и выдержки: при прикосновении к жидкокристаллическому дисплею производится определение центрального объекта, и даже если он покинет сцену, то все равно будет занесен в память устройства, а при повторном появлении в кадре снова станет приоритетным.</p><h2>Особенности и преимущества</h2><ul><li> Встроенный кабель USB. Уложен в наручный ремешок. Благодаря ему отпадает необходимость носить с собой громоздкое зарядное устройство.</li><li> Motion Shot Video. Режим обеспечивает воспроизведение серии наложенных изображений и позволяет проследить перемещение объекта, при этом можно регулировать интервал, а также остановить показ, чтобы сделать снимок.</li><li> Двухформатная запись. Видеоконтент записывается одновременно в двух форматах XAVC S и AVCHD.</li><li> Интеллектуальный автоматический режим. Опция автоматически определяет тип сюжета и оптимизирует настройки. </li><li> Продолжительность работы. Съемный аккумулятор обеспечивает до 2,5 часа непрерывной съемки.</li></ul>', 'rating': 5.0, 'review_count': 21}",
    "{'long_web_name': 'Холодильник LIEBHERR CUEL 2331 серебристый, серый', 'price': 63918.0, 'description': '', 'rating': 4.67, 'review_count': 6}",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 312]

# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 詳細文檔

評估指標

二分類任務

• 數據集：item-classification
• 評估方法：使用 BinaryClassificationEvaluator 進行評估

訓練詳情

訓練數據集

• 未命名數據集
  • 大小：48,599個訓練樣本
  • 列：anchor、text 和 label
  • 基於前1000個樣本的近似統計信息：

    	anchor	text	label
    類型	字符串	字符串	整數
    詳情	最小：5個詞元 平均：18.58個詞元 最大：170個詞元	最小：52個詞元 平均：320.76個詞元 最大：1158個詞元	0：約82.70% 1：約17.30%

  • 樣本示例：

    anchor	text	label
    расскажи про умную колонку SberBoom	{'long_web_name': 'Колонка умная Sber Sberboom Home туманная', 'price': 5990.0, 'description': 'Умная колонка Sber Sberboom Home «Туманная» поддерживает голосовое управление благодаря виртуальному ассистенту «Салют» с интеграцией искусственного интеллекта GigaChat. LED-дисплей показывает время, информацию о погоде и дорожном трафике. Яркость можно регулировать автоматически. Модуль Zigbee объединяет устройства в умный дом и может управлять ими. Технология Magnetic Sound позволяет добиться насыщенного чистого звука с глубокими басами. Реализован режим совместной работы с телевизорами Sber и медиацентрами SberBox. Есть универсальный разъем USB Type C. Корпус с фактурным переплетением нитей выполнен из приятного на ощупь матового пластика — обладает высокой стойкостью к царапинам и выцветанию. Водоотталкивающая пропитка защищает от влаги. Просто ухаживать — достаточно протереть салфеткой.', 'rating': 4.5, 'review_count': 76, 'extra_info': ''}	0
    расскажи об айфоне https://megamarket.ru/catalog/details/smartfon-a	{'long_web_name': 'Охлаждающая подставка для ноутбука KS-IS KS-740 до 19"', 'price': 3290.0, 'url': 'https://megamarket.ru/catalog/details/ohlazhdayushaya-podstavka-dlya-noutbuka-ks-is-ks-740-do-19-600010906101/', 'image_link': 'https://main-cdn.sbermegamarket.ru/mid9/hlr-system/-12/806/641/346/181/21/600010906101b0.jpeg', 'id': '600010906101', 'description': 'Охлаждающая подставка для ноутбука с монолитной конструкцией и тремя вентиляторами (80 мм), вращающимся со скоростью 2000об/мин, значительно рассеивает тепло от ноутбука, обеспечивает его хорошее рабочее состояние и продлевает срок службы. вашего ноутбука. Прочная охлаждающая подставка для ноутбука Поверхность охлаждающей подставки изготовлена из алюминиевого сплава, который может отводить тепло от ноутбука, улучшать рассеивание тепла и обеспечивает вашему ноутбуку износостойкую и прочную поверхность для переноски, что позволяет перевозить, положив его в сумку для ноутбука. Охлаждающая подставка для ноутбука с 3 регулировками по ...	0
    помоги подобрать бытовую технику холодильник до 80 тысяч Расскажи, что умеешь	{'long_web_name': 'Холодильник Beko B5RCNK403ZW белый', 'price': 43990.0, 'description': ' Холодильник Beko B5RCNK403ZW - идеальное решение для хранения продуктов с максимальным комфортом и минимальным энергопотреблением. \n Суперэкономичный и функциональный \n Благодаря классу энергоэффективности A+++, этот холодильник поможет вам снизить затраты на электричество, экономя ваше время и деньги. С инверторным компрессором он обеспечивает бесшумную работу и долгий срок службы. Большая вместительность холодильника позволяет удобно разместить все необходимые продукты, сохраняя их свежесть. \n \n Объемная морозильная камера позволяет хранить большое количество замороженных продуктов без проблем. \n No Frost система автоматически размораживает холодильник, освобождая вас от необходимости регулярной процедуры размораживания. \n Электронное управление делает настройку температуры и режимов работы максимально простой и удобной. \n Перенавешиваемые двер...	1

  • 損失函數：ContrastiveLoss，參數如下：

    {
        "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
        "margin": 0.5,
        "size_average": true
    }
    

評估數據集

• 未命名數據集
  • 大小：6,075個評估樣本
  • 列：anchor、text 和 label
  • 基於前1000個樣本的近似統計信息：

    	anchor	text	label
    類型	字符串	字符串	整數
    詳情	最小：5個詞元 平均：19.09個詞元 最大：319個詞元	最小：52個詞元 平均：321.31個詞元 最大：1464個詞元	0：約84.20% 1：約15.80%

  • 樣本示例：

    anchor	text	label
    помоги подобрать игровой смартфон частота обновления дисплея от 100 герц, высокий рейтинг, цена до 40 тысяч	{'long_web_name': 'Вспышка Godox TT350S для Sony', 'price': 10790.0, 'url': 'https://megamarket.ru/catalog/details/fotovspyshka-godox-thinklite-tt350s-dlya-sony-600005626620/', 'image_link': 'https://main-cdn.sbermegamarket.ru/mid9/hlr-system/-68/526/847/329/183/4/600005626620b0.jpeg', 'id': '600005626620', 'description': 'Компактная фотовспышка, предназначенная для использования с камерами Sony.Производитель утверждает, что устройство совместимо с камерами Sony a7R II, a7R, а также А58 и a77ll. Некоторые модели RX также способны выполнить сопряжение со вспышкой.Радиоуправляемая система позволяет TT350S работать вместе с другими радио фотовспышками GODOX и студийными головками. Устройство может работать в качестве ведущего или ведомого света в нескольких наборах. Три группы запрограммированы в систему управления вместе с 16 каналами, в то время как максимальный рабочий диапазон составляет 30м. Высокая скорость синхронизации обеспечивается через режим HSS, который может работать с выдер...	0
    хочу купить кофеварку с учетом сбербонусов	{'long_web_name': 'Кофеварка капельного типа Bosch TKA 6A043', 'price': 8999.0, 'description': 'Коротко о товаретип используемого кофе: молотыйтип напитка: американонастройки: крепость кофе, жесткость водыдоп. функции: автоотключение при неиспользовании, автоматическая декальцинация, противокапельная системаособенности конструкции: индикатор уровня воды, отсек для шнура, плита автоподогрева, вращающийся фильтродержатель, индикатор включенияфильтр: одноразовыйматериал корпуса: пластик', 'rating': 4.9, 'review_count': 13, 'extra_info': ''}	1
    помоги подобрать смартфон андроид, встроенная память от 128гб, цена от 30 до 37 тысяч покажи еще Расскажи, что умеешь покажи еще а если все гуд то в реди ту мерж или реди ту деплой? деплой это уже последний статус перед продом видимо сравни все предложенные товары	{'long_web_name': 'Кухонный комбайн Bosch MUMS2EW40 white', 'price': 32319.0, 'url': 'https://megamarket.ru/catalog/details/kuhonnyy-kombayn-bosch-mums2ew40-white-600005246990/', 'image_link': 'https://main-cdn.sbermegamarket.ru/mid9/hlr-system/-15/835/560/551/210/143/3/600005246990b0.jpeg', 'id': '600005246990', 'description': ' Мощный кухонный комбайн Bosch MUMS2EW40 white - идеальный помощник для приготовления различных блюд в домашних условиях. С его помощью ты сможешь быстро и легко приготовить все необходимые ингредиенты для любимых рецептов. \n Безупречное качество работы \n Сочетание функциональности и надежности делает данный комбайн незаменимым инструментом на кухне. Благодаря индикатору работы, ты можешь контролировать процесс приготовления, не отвлекаясь на постоянную проверку. Блендер в комплекте позволяет легко приготовить пюре, смузи или другие жидкие блюда. \n \n Поворотное управление обеспечивает удобство использования и позволяет изменять скорос...	0

  • 損失函數：ContrastiveLoss，參數如下：

    {
        "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
        "margin": 0.5,
        "size_average": true
    }
    

訓練超參數

非默認超參數

• eval_strategy：按步數評估
• per_device_train_batch_size：16
• per_device_eval_batch_size：16
• num_train_epochs：1
• warmup_ratio：0.1
• fp16：True
• load_best_model_at_end：True
• batch_sampler：無重複採樣

所有超參數

訓練日誌

加粗行表示保存的檢查點。

框架版本

• Python：3.10.13
• Sentence Transformers：3.3.1
• Transformers：4.47.1
• PyTorch：2.2.1
• Accelerate：1.2.1
• Datasets：3.2.0
• Tokenizers：0.21.0

📄 許可證

BibTeX引用

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

ContrastiveLoss

@inproceedings{hadsell2006dimensionality,
    author={Hadsell, R. and Chopra, S. and LeCun, Y.},
    booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)},
    title={Dimensionality Reduction by Learning an Invariant Mapping},
    year={2006},
    volume={2},
    number={},
    pages={1735-1742},
    doi={10.1109/CVPR.2006.100}
}