Russian Text Normalizer

🚀 ロシア語テキスト正規化

FRED-T5 large 820M の微調整版です。

コードは リポジトリ で公開されています。

ficbook、librusec、pikabu の文章を使用して学習されており、word_to_number_ru パッケージの修正版を用いて逆テキスト正規化されています。

また、Kaggle Text Normalization Challenge のデータも使用して、ラテン文字も正規化できるようになっています。ただし、数字に対する性能は低下しましたが、ラテン文字を正常に処理できるようになりました。数字のみの前のバージョンを選択するには、git checkout #8c2476b を実行してください。

🚀 クイックスタート

このモデルを使用するには、数字とラテン語の単語を角括弧 [ ] で囲み、T5トークン <extra_id_0>、<extra_id_1> などを続けます。 数字は常に3桁ごとにグループ化し、[ ] 括弧内に数字とラテン語以外のものを入れないようにすることをお勧めします。

💻 使用例

基本的な使用法

import torch
from transformers import GPT2Tokenizer, T5ForConditionalGeneration 

device='cuda'
tokenizer = GPT2Tokenizer.from_pretrained('saarus72/russian_text_normalizer', eos_token='</s>')
model = T5ForConditionalGeneration.from_pretrained('saarus72/russian_text_normalizer').to(device)
lm_text = '<SC1>Было у отца [3]<extra_id_0> сына, но не было даже [2- 3]<extra_id_1> пиджаков с блёстками за [142 990]<extra_id_2> руб.'
input_ids = torch.tensor([tokenizer.encode(lm_text)]).to(device)
outputs = model.generate(input_ids, eos_token_id=tokenizer.eos_token_id, early_stopping=True)
print(tokenizer.decode(outputs[0][1:]))
# <extra_id_0>  три\n <extra_id_1>  двух- трёх\n <extra_id_2>  сто сорок две тысячи девятьсот девяносто\n</s>

高度な使用法

以下は、より多くの入力例とその出力結果です。

📄 ライセンス

このプロジェクトは Apache-2.0 ライセンスの下で公開されています。