FRED T5 Large Ods Ner 2023

🚀 レシートからの商品とブランド抽出のための固有表現認識モデル

このモデルは、ロシア語の税務データオペレーターのレシートから商品とブランドを抽出するための固有表現認識モデルです。レシートの構造化に特化した多段階のコンペティションのために開発されました。このコンペティションは Open Data Science コミュニティ と アルファ銀行 によって主催され、第1段階、第2段階、最終段階 から構成されています。ただし、このモデルはロシア語の任意のレシートの解析と構造化に使用できます。微調整と推論のコードが含まれるリポジトリは gitflic.ru で公開されています。

🚀 クイックスタート

このモデルは、ロシア語のレシートから商品名とブランド名を抽出するために使用できます。以下に使用例を示します。

💻 使用例

基本的な使用法

from typing import Tuple
import torch
from transformers import T5ForConditionalGeneration, GPT2Tokenizer


MODEL_NAME = 'bond005/FRED-T5-large-ods-ner-2023'
START_TAG = '<LM>'
END_TAG = '</s>'


def initialize_recognizer(model_path: str) -> Tuple[GPT2Tokenizer, T5ForConditionalGeneration]:
    model = T5ForConditionalGeneration.from_pretrained(model_path)
    if not torch.cuda.is_available():
        raise ValueError('CUDA is not available!')
    model = model.cuda()
    model.eval()
    tokenizer = GPT2Tokenizer.from_pretrained(model_path)
    return tokenizer, model


def recognize(text: str, tokenizer: GPT2Tokenizer, model: T5ForConditionalGeneration) -> Tuple[str, str]:
    if text.startswith(START_TAG):
        x = tokenizer(text, return_tensors='pt', padding=True).to(model.device)
    else:
        x = tokenizer(START_TAG + text, return_tensors='pt', padding=True).to(model.device)
    out = model.generate(**x)
    predictions = tokenizer.decode(out[0], skip_special_tokens=True).strip()
    while predictions.endswith(END_TAG):
        predictions = predictions[:-len(END_TAG)].strip()
    prediction_pair = predictions.split(';')
    if len(prediction_pair) == 0:
        goods = ''
        brands = ''
    elif len(prediction_pair) == 1:
        goods = prediction_pair[0].strip()
        brands = ''
    else:
        goods = prediction_pair[0].strip()
        brands = prediction_pair[1].strip()
    return goods, brands


recognizer = initialize_recognizer(MODEL_NAME)

goods_and_brands = recognize(text='Водка "Русская валюта" премиум люкс 38% 0,25л, Россия',
                             tokenizer=recognizer[0], model=recognizer[1])

print(f'GOODS: {goods_and_brands[0]}')
# водка

print(f'BRANDS: {goods_and_brands[1]}')
# русская валюта

📄 ライセンス

このモデルは Apache-2.0 ライセンスの下で公開されています。