Sage M2m100 1.2B

🚀 sage-m2m100-1.2Bモデル

このモデルは、テキスト内のすべての単語をロシア語の規範に合わせることで、スペルミスやタイプミスを修正します。修正器は、M2M100-1.2Bモデルをベースにトレーニングされています。トレーニングコーパスとして、「人工的」な誤りを含む大規模なデータセットが使用されています。このコーパスは、ロシア語のウィキペディアとロシア語のビデオの文字起こしを基に作成され、その後、SAGEライブラリを使用して自動的にタイプミスやスペルミスが導入されました。このモデルは、pre-trainの微調整バージョンです。

✨ 主な機能

• ロシア語のテキストに含まれるスペルミスやタイプミスを修正します。
• 大規模なデータセットを使用してトレーニングされており、高い精度で誤りを検出し修正します。

📚 詳細ドキュメント

公開参考文献

• SAGEライブラリの発表、DataFest 2023
• 合成誤り生成方法に関する論文、Dialogue 2023
• SAGE EACL 2024論文

仕様

連絡先

nikita.martynov.98@list.ru

💻 使用例

基本的な使用法

from transformers import M2M100ForConditionalGeneration, M2M100Tokenizer

path_to_model = "ai-forever/sage-m2m100-1.2B"
model = M2M100ForConditionalGeneration.from_pretrained(path_to_model)
tokenizer = M2M100Tokenizer.from_pretrained(path_to_model, src_lang="ru", tgt_lang="ru")

sentence = "прийдя в МГТУ я был удивлен никого необноружив там…"
encodings = tokenizer(sentence, return_tensors="pt")
generated_tokens = model.generate(
        **encodings, forced_bos_token_id=tokenizer.get_lang_id("ru"))
answer = tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)

print(answer)
#["прийдя в МГТУ я был удивлен никого не обнаружив там..."]

入出力例

📊 評価指標

品質

以下は、スペルチェッカーの正確性を判断するための自動評価指標です。利用可能な4つのデータセットすべてで、当社のソリューションをオープンな自動スペルチェッカーとChatGPTファミリーのモデルと比較しています。

• RUSpellRU：(LiveJournal)から収集されたテキストで、手動で修正されたタイプミスや誤りが含まれています。
• MultidomainGold：オープンウェブ、ニュース、ソーシャルメディア、レビュー、字幕、政策文書、文学作品など、7つのテキストソースからの例。
• MedSpellChecker：医療アナムネーズからの誤りを含むテキスト。
• GitHubTypoCorpusRu：GitHubのコミットに含まれるスペルミスやタイプミス。

RUSpellRU

MultidomainGold

MedSpellChecker

GitHubTypoCorpusRu

📦 関連リソース

• SAGEライブラリ、GitHub
• sage-fredt5-large、HuggingFace
• sage-fredt5-distilled-95m、HuggingFace
• sage-m2m100-1.2B、HuggingFace
• sage-mt5-large、HuggingFace

📄 ライセンス

当社のソリューションが基になっているM2M100-1.2Bモデルとそのソースコードは、MITオープンライセンスの下で提供されています。当社のソリューションもMITライセンスで提供されています。