COLD2オープンソースマスク付きモデル - 電子商取引の検索クエリの欠損用語問題を無料で解決

ホーム

COLD2

fkrasnov2によって開発

COLD2はPyTorchベースのマスク埋め込みモデルで、電子商取引分野における検索クエリの欠落語句問題を解決するために特別に設計されています。

大規模言語モデル

Transformers

その他#電子商取引検索補完 #ロシア語コンテキスト最適化 #リアルタイムクエリ補完

ダウンロード数 19

リリース時間 : 10/15/2024

モデル概要

このモデルはクエリのコンテキストを利用して欠落している可能性のある語句を生成し、電子商取引プラットフォームの検索クエリ補完に適しています。

モデル特徴

電子商取引最適化

電子商取引分野の検索クエリに特化して最適化されており、商品関連の語彙を正確に補完できます。

コンテキスト理解

クエリのコンテキストを理解し、意味的に関連する補完語句を生成できます。

マルチプラットフォームサポート

PyTorchやtransformers.jsなど、さまざまなプラットフォームでの実行をサポートしています。

モデル能力

検索クエリ補完

コンテキスト語句予測

電子商取引分野のテキスト処理

使用事例

電子商取引

検索クエリ補完

ユーザーが入力した検索クエリの欠落語句を自動補完します

検索精度とユーザー体験の向上

商品推薦

部分的なクエリから可能性のある完全な商品名を予測します

商品発見率の向上

🚀 COLD2モデル

このモデルは、検索クエリ内の欠落した単語の問題を解決するために設計されています。クエリのコンテキストを利用して、欠落している可能性のある単語を生成します。

🚀 クイックスタート

このモデルを使用する前に、必要なライブラリをインストールする必要があります。以下のコマンドを実行してください。

# ライブラリのインストール
pip install protobuf sentencepiece

次に、以下のコードを使用してモデルを初期化し、欠落した単語を予測できます。

from transformers import pipeline
unmasker = pipeline("fill-mask", model="fkrasnov2/COLD2", device="cuda")
unmasker("электроника зарядка [MASK] USB")

[{'score': 0.3712620437145233,
  'token': 1131,
  'token_str': 'автомобильная',
  'sequence': 'электроника зарядка автомобильная usb'},
 {'score': 0.12239563465118408,
  'token': 7436,
  'token_str': 'быстрая',
  'sequence': 'электроника зарядка быстрая usb'},
 {'score': 0.046715956181287766,
  'token': 5819,
  'token_str': 'проводная',
  'sequence': 'электроника зарядка проводная usb'},
 {'score': 0.031308457255363464,
  'token': 635,
  'token_str': 'универсальная',
  'sequence': 'электроника зарядка универсальная usb'},
 {'score': 0.02941182069480419,
  'token': 2371,
  'token_str': 'адаптер',
  'sequence': 'электроника зарядка адаптер usb'}]

💻 使用例

基本的な使用法

# 基本的な使用例
from transformers import pipeline
unmasker = pipeline("fill-mask", model="fkrasnov2/COLD2", device="cuda")
unmasker("электроника зарядка [MASK] USB")

高度な使用法

連結前置詞を使用することで、トークン化を改善できます。

unmasker("одежда женское [MASK] для_праздника")

[{'score': 0.9355553984642029,
  'token': 503,
  'token_str': 'платье',
  'sequence': 'одежда женское платье для_праздника'},
 {'score': 0.011321154423058033,
  'token': 615,
  'token_str': 'кольцо',
  'sequence': 'одежда женское кольцо для_праздника'},
 {'score': 0.008672593161463737,
  'token': 993,
  'token_str': 'украшение',
  'sequence': 'одежда женское украшение для_праздника'},
 {'score': 0.0038903721142560244,
  'token': 27100,
  'token_str': 'пончо',
  'sequence': 'одежда женское пончо для_праздника'},
 {'score': 0.003703165566548705,
  'token': 453,
  'token_str': 'белье',
  'sequence': 'одежда женское белье для_праздника'}]

📚 詳細ドキュメント

transformers.jsでの使用

transformers.jsでこのモデルを使用するには、ONNXバージョンのモデルが必要です。以下のコードを使用して、ONNXモデルをロードできます。

from transformers import AutoTokenizer
from optimum.onnxruntime import ORTModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("fkrasnov2/COLD2") 
model = ORTModelForMaskedLM.from_pretrained("fkrasnov2/COLD2", file_name='model.onnx')

ブラウザでの使用

このモデルは、ブラウザから直接実行して使用することもできます。以下のHTMLとJavaScriptのコードを使用して、ブラウザ上でモデルを実行できます。

index.html

<!DOCTYPE html>
<html lang="ru">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title>Mask fill</title>
    <link rel="stylesheet" href="styles.css">
    <script src="main.js" type="module" defer></script>
</head>
<body>
    <div class="container">
        <textarea id="long-text-input" placeholder="Enter search query with [MASK]"></textarea>
        <button id="generate-button">
            Заполнить маску
        </button>
        <div id="output-div"></div>
    </div>
</body>
</html>

main.js

import { pipeline } from 'https://cdn.jsdelivr.net/npm/@huggingface/transformers@3.0.2';

const longTextInput = document.getElementById('long-text-input');
const output = document.getElementById('output-div');
const generateButton = document.getElementById('generate-button');

const pipe = await pipeline(
    'fill-mask', // task
    'fkrasnov2/COLD2' // model 
);

generateButton.addEventListener('click', async () => {

    const input = longTextInput.value;
    const result = await pipe(input);

    output.innerHTML = result[0].sequence;
    output.style.display = 'block';
});