SBE

🚀 SBEモデル

このモデルは、電子商取引の情報検索（IR）に特化して設計されており、商品の差別化に役立ちます。

🚀 クイックスタート

このモデルは、2億6900万件のロシア語の検索クエリコーパスに対してSentencepieceトークナイザーを適用し、電子商取引の検索クエリの類似性タスクに特化したエンコーダーモデルを訓練しています。検証用のデータセットは手動でアノテーションされ、362,000件のインスタンスで構成されています。

💻 使用例

基本的な使用法

## don't forget
# pip install protobuf sentencepiece

from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained('fkrasnov2/SBE')
tokenizer = AutoTokenizer.from_pretrained('fkrasnov2/SBE')

input_ids = tokenizer.encode("чёрное платье", max_length=model.config.max_position_embeddings, truncation=True, return_tensors='pt')

model.eval()
vector = model(input_ids=input_ids, attention_mask=input_ids!=tokenizer.pad_token_id)[0][0,0]

assert model.config.hidden_size == vector.shape[0]

このモデルは、電子商取引のIRに使用することを目的としており、商品の差別化に役立ちます。

類似度の例

同じ商品:

• cos ( SBE("apple 16 синий про макс 256"), SBE("iphone 16 синий pro max 256") ) = 0.96
• cos ( SBE("iphone 15 pro max"), SBE("айфон 15 про макс") ) = 0.98

異なる商品:

• cos ( SBE("iphone 15 pro max"), SBE("iphone 16 pro max") ) = 0.85

📄 ライセンス

このモデルはUnlicenseの下でライセンスされています。