SBE

🚀 句子相似度編碼器模型

本項目的模型主要用於電商信息檢索（IR）場景，能夠有效區分不同商品，通過對大量俄語搜索查詢語料的訓練，實現了對句子相似度的精準計算。

🚀 快速開始

安裝依賴

# 不要忘記安裝必要的庫
# pip install protobuf sentencepiece

代碼示例

from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained('fkrasnov2/SBE')
tokenizer = AutoTokenizer.from_pretrained('fkrasnov2/SBE')

input_ids = tokenizer.encode("чёрное платье", max_length=model.config.max_position_embeddings, truncation=True, return_tensors='pt')

model.eval()
vector = model(input_ids=input_ids, attention_mask=input_ids!=tokenizer.pad_token_id)[0][0,0]

assert model.config.hidden_size == vector.shape[0]

✨ 主要特性

• 數據處理：對包含2.69億條俄語搜索查詢的語料庫應用了SentencePiece分詞器。
• 模型訓練：針對電商搜索查詢相似度任務訓練編碼器模型，搜索查詢均為短文本。
• 驗證數據集：使用手動標註的362,000個實例作為驗證數據集。
• 可視化結果：可通過驗證結果直觀查看模型性能。

💻 使用示例

基礎用法

from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained('fkrasnov2/SBE')
tokenizer = AutoTokenizer.from_pretrained('fkrasnov2/SBE')

input_ids = tokenizer.encode("чёрное платье", max_length=model.config.max_position_embeddings, truncation=True, return_tensors='pt')

model.eval()
vector = model(input_ids=input_ids, attention_mask=input_ids!=tokenizer.pad_token_id)[0][0,0]

assert model.config.hidden_size == vector.shape[0]

相似度計算示例

相同產品

• cos ( SBE("apple 16 синий про макс 256"), SBE("iphone 16 синий pro max 256") ) = 0.96
• cos ( SBE("iphone 15 pro max"), SBE("айфон 15 про макс") ) = 0.98

不同產品

• cos ( SBE("iphone 15 pro max"), SBE("iphone 16 pro max") ) = 0.85

📄 許可證

本項目採用Unlicense許可證。