Russian Text Normalizer

🚀 俄語文本歸一化

本項目是 FRED - T5 large 820M 的微調版本。它能夠對俄語文本進行歸一化處理，將文本中的數字和拉丁單詞轉換為更規範的表達形式。

代碼倉庫：repo。

該模型在 ficbook、librusec 和 pikabu 等數據集的句子上進行訓練，使用修改版的 word_to_number_ru 包進行逆文本歸一化。此外，還使用了 Kaggle 文本歸一化挑戰 的數據，使得模型能夠處理拉丁文本，但在處理數字時性能有所下降。你可以使用 git checkout #8c2476b 切換到之前僅處理數字的版本。

🚀 快速開始

安裝依賴

確保你已經安裝了 torch 和 transformers 庫。你可以使用以下命令進行安裝：

pip install torch transformers

使用示例

基礎用法

import torch
from transformers import GPT2Tokenizer, T5ForConditionalGeneration 

device='cuda'
tokenizer = GPT2Tokenizer.from_pretrained('saarus72/russian_text_normalizer', eos_token='</s>')
model = T5ForConditionalGeneration.from_pretrained('saarus72/russian_text_normalizer').to(device)
lm_text = '<SC1>Было у отца [3]<extra_id_0> сына, но не было даже [2- 3]<extra_id_1> пиджаков с блёстками за [142 990]<extra_id_2> руб.'
input_ids = torch.tensor([tokenizer.encode(lm_text)]).to(device)
outputs = model.generate(input_ids, eos_token_id=tokenizer.eos_token_id, early_stopping=True)
print(tokenizer.decode(outputs[0][1:]))
# <extra_id_0>  три\n <extra_id_1>  двух- трёх\n <extra_id_2>  сто сорок две тысячи девятьсот девяносто\n</s>

使用說明

• 將數字和拉丁單詞放在方括號 [ ] 內，並跟隨 T5 標記 <extra_id_0>、<extra_id_1> 等。
• 建議始終將數字按 3 位一組進行分組，並且在 [ ] 括號內只放置數字和拉丁單詞。

更多使用示例

📄 許可證

本項目採用 Apache - 2.0 許可證。