Russian Text Normalizer

🚀 俄语文本归一化

本项目是 FRED - T5 large 820M 的微调版本。它能够对俄语文本进行归一化处理，将文本中的数字和拉丁单词转换为更规范的表达形式。

代码仓库：repo。

该模型在 ficbook、librusec 和 pikabu 等数据集的句子上进行训练，使用修改版的 word_to_number_ru 包进行逆文本归一化。此外，还使用了 Kaggle 文本归一化挑战 的数据，使得模型能够处理拉丁文本，但在处理数字时性能有所下降。你可以使用 git checkout #8c2476b 切换到之前仅处理数字的版本。

🚀 快速开始

安装依赖

确保你已经安装了 torch 和 transformers 库。你可以使用以下命令进行安装：

pip install torch transformers

使用示例

基础用法

import torch
from transformers import GPT2Tokenizer, T5ForConditionalGeneration 

device='cuda'
tokenizer = GPT2Tokenizer.from_pretrained('saarus72/russian_text_normalizer', eos_token='</s>')
model = T5ForConditionalGeneration.from_pretrained('saarus72/russian_text_normalizer').to(device)
lm_text = '<SC1>Было у отца [3]<extra_id_0> сына, но не было даже [2- 3]<extra_id_1> пиджаков с блёстками за [142 990]<extra_id_2> руб.'
input_ids = torch.tensor([tokenizer.encode(lm_text)]).to(device)
outputs = model.generate(input_ids, eos_token_id=tokenizer.eos_token_id, early_stopping=True)
print(tokenizer.decode(outputs[0][1:]))
# <extra_id_0>  три\n <extra_id_1>  двух- трёх\n <extra_id_2>  сто сорок две тысячи девятьсот девяносто\n</s>

使用说明

• 将数字和拉丁单词放在方括号 [ ] 内，并跟随 T5 标记 <extra_id_0>、<extra_id_1> 等。
• 建议始终将数字按 3 位一组进行分组，并且在 [ ] 括号内只放置数字和拉丁单词。

更多使用示例

📄 许可证

本项目采用 Apache - 2.0 许可证。