COLD2开源填充掩码模型 - 免费解决电子商务搜索查询缺词问题

首页

COLD2

由 fkrasnov2 开发

COLD2是一个基于PyTorch的填充掩码模型，专门用于解决电子商务领域搜索查询中缺失词语的问题。

大型语言模型

Transformers

其他#电商搜索补全 #俄语语境优化 #实时查询填充

下载量 19

发布时间 : 10/15/2024

模型简介

该模型利用查询的上下文生成可能缺失的词语，适用于电子商务平台的搜索查询补全。

模型特点

电子商务优化

专门针对电子商务领域的搜索查询进行优化，能够准确补全商品相关词汇。

上下文理解

能够理解查询的上下文，生成语义相关的补全词语。

多平台支持

支持在PyTorch和transformers.js等多种平台上运行。

模型能力

搜索查询补全

上下文词语预测

电子商务领域文本处理

使用案例

电子商务

搜索查询补全

自动补全用户输入的搜索查询中的缺失词语

提高搜索准确性和用户体验

商品推荐

根据部分查询预测可能的完整商品名称

提升商品发现率

🚀 填补掩码模型

本项目是一个用于解决搜索查询中缺失词问题的模型。该模型利用查询的上下文来生成可能缺失的词汇，为搜索查询提供更完整的信息。

🚀 快速开始

环境准备

在使用模型前，需要安装必要的库：

# 不要忘记安装这些库
# pip install protobuf sentencepiece

模型调用

使用transformers库中的pipeline来调用模型：

from transformers import pipeline
unmasker = pipeline("fill-mask", model="fkrasnov2/COLD2", device="cuda")
unmasker("электроника зарядка [MASK] USB")

[{'score': 0.3712620437145233,
  'token': 1131,
  'token_str': 'автомобильная',
  'sequence': 'электроника зарядка автомобильная usb'},
 {'score': 0.12239563465118408,
  'token': 7436,
  'token_str': 'быстрая',
  'sequence': 'электроника зарядка быстрая usb'},
 {'score': 0.046715956181287766,
  'token': 5819,
  'token_str': 'проводная',
  'sequence': 'электроника зарядка проводная usb'},
 {'score': 0.031308457255363464,
  'token': 635,
  'token_str': 'универсальная',
  'sequence': 'электроника зарядка универсальная usb'},
 {'score': 0.02941182069480419,
  'token': 2371,
  'token_str': 'адаптер',
  'sequence': 'электроника зарядка адаптер usb'}]

利用连前置词改进分词

unmasker("одежда женское [MASK] для_праздника")

[{'score': 0.9355553984642029,
  'token': 503,
  'token_str': 'платье',
  'sequence': 'одежда женское платье для_праздника'},
 {'score': 0.011321154423058033,
  'token': 615,
  'token_str': 'кольцо',
  'sequence': 'одежда женское кольцо для_праздника'},
 {'score': 0.008672593161463737,
  'token': 993,
  'token_str': 'украшение',
  'sequence': 'одежда женское украшение для_праздника'},
 {'score': 0.0038903721142560244,
  'token': 27100,
  'token_str': 'пончо',
  'sequence': 'одежда женское пончо для_праздника'},
 {'score': 0.003703165566548705,
  'token': 453,
  'token_str': 'белье',
  'sequence': 'одежда женское белье для_праздника'}]

使用ONNX版本模型

对于transformers.js，需要使用模型的ONNX版本：

from transformers import AutoTokenizer
from optimum.onnxruntime import ORTModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("fkrasnov2/COLD2") 
model = ORTModelForMaskedLM.from_pretrained("fkrasnov2/COLD2", file_name='model.onnx')

在浏览器中运行模型

你也可以直接在浏览器中运行和使用该模型。以下是相关的HTML和JavaScript代码：

`index.html`

<!DOCTYPE html>
<html lang="ru">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title>Mask fill</title>
    <link rel="stylesheet" href="styles.css">
    <script src="main.js" type="module" defer></script>
</head>
<body>
    <div class="container">
        <textarea id="long-text-input" placeholder="Enter search query with [MASK]"></textarea>
        <button id="generate-button">
            Заполнить маску
        </button>
        <div id="output-div"></div>
    </div>
</body>
</html>

`main.js`

import { pipeline } from 'https://cdn.jsdelivr.net/npm/@huggingface/transformers@3.0.2';

const longTextInput = document.getElementById('long-text-input');
const output = document.getElementById('output-div');
const generateButton = document.getElementById('generate-button');

const pipe = await pipeline(
    'fill-mask', // task
    'fkrasnov2/COLD2' // model 
);

generateButton.addEventListener('click', async () => {

    const input = longTextInput.value;
    const result = await pipe(input);

    output.innerHTML = result[0].sequence;
    output.style.display = 'block';
});