Sage V1.1.0

🚀 sage-v1.1.0

このモデルは、テキスト内のすべての単語をロシア語の規範に合わせることで、スペルや句読点のエラー、タイプミスを修正します。修正器は、FRED - T5 - 1.7B モデルをベースにトレーニングされています。トレーニングコーパスとして、「人工的」なエラーを含む大規模なデータセットが使用されています。このコーパスは、ロシア語のウィキペディアとロシア語のビデオの文字起こしを基に構築され、その後、SAGE ライブラリを使用して自動的にタイプミスやスペルエラーが導入されました。

🚀 クイックスタート

このモデルを使用することで、ロシア語のテキストのスペルチェックや句読点の修正が可能です。以下の使用例を参考に、モデルを活用してみてください。

✨ 主な機能

• ロシア語テキストのスペルチェックと句読点の修正
• 大規模なデータセットでトレーニングされた高精度な修正器

💻 使用例

基本的な使用法

import re
import torch
from transformers import AutoTokenizer, T5ForConditionalGeneration

tokenizer = AutoTokenizer.from_pretrained("ai-forever/FRED-T5-1.7B")
model = T5ForConditionalGeneration.from_pretrained("ai-forever/sage-v1.1.0")

model.to('cuda')

tokenizer_config = {
            'max_length': None,
            'padding': 'longest',
            'truncation': False,
            "return_tensors": "pt",
        }

def inference(sentence):
    text = "<LM>" + sentence
    with torch.inference_mode():
        encodings = tokenizer(text, **tokenizer_config)
        for k, v in encodings.items():
            encodings[k] = v.to('cuda:0')
        res = model.generate(
            **encodings,
            use_cache=True,
            max_length = encodings['input_ids'].size(1) * 1.5
        )
        res = res.cpu().tolist()
        res = tokenizer.batch_decode(res, skip_special_tokens=True)
    return res

text = 'Првет какдила'
text = re.sub(r'\n+', '\n', text)
print(inference(text))

# ['Привет, как дела?']

📚 ドキュメント

公開参考文献

• SAGE library announcement, DataFest 2023
• Paper about synthetic error generation methods, Dialogue 2023
• SAGE EACL 2024 paper

入出力例

評価指標

品質

以下は、スペルチェッカーの正確性を判断するための自動評価指標です。私たちは、利用可能な4つのデータセットすべてで、オープンな自動スペルチェッカーとChatGPTファミリーのモデルの両方と私たちのソリューションを比較しています。

• RUSpellRU: (LiveJournal) から収集されたテキストで、手動でタイプミスやエラーが修正されています。
• MultidomainGold: オープンウェブ、ニュース、ソーシャルメディア、レビュー、字幕、政策文書、文学作品など、7つのテキストソースからの例。
• MedSpellChecker: 医療アナムネーシスからのエラーを含むテキスト。
• GitHubTypoCorpusRu: GitHub のコミット内のスペルエラーとタイプミス。

RUSpellRU

MultidomainGold

MedSpellChecker

GitHubTypoCorpusRu

リソース

• SAGE library, GitHub
• sage-fredt5-large, HuggingFace
• sage-fredt5-distilled-95m, HuggingFace
• sage-m2m100-1.2B, HuggingFace
• sage-mt5-large, HuggingFace

仕様

連絡先

nikita.martynov.98@list.ru

📄 ライセンス

このプロジェクトは、MITライセンスの下で公開されています。