Rum2m100 1.2B

🚀 RuM2M100-1.2Bモデル

このモデルは、テキスト内のすべての単語をロシア語の規範に合わせることで、スペルミスやタイプミスを修正します。修正器は、M2M100-1.2Bモデルをベースに訓練されました。訓練コーパスとして、「人工的」な誤りを含む大規模なデータセットが使用されました。このコーパスは、ロシア語のウィキペディアとロシア語の動画の文字起こしを基に作成され、その後、SAGEライブラリを使用して自動的にタイプミスとスペルミスが導入されました。

🚀 クイックスタート

以下のコードを使用して、モデルを使うことができます。

from transformers import M2M100ForConditionalGeneration, M2M100Tokenizer

path_to_model = "ai-forever/RuM2M100-1.2B"

model = M2M100ForConditionalGeneration.from_pretrained(path_to_model)
tokenizer = M2M100Tokenizer.from_pretrained(path_to_model, src_lang="ru", tgt_lang="ru")

sentence = "прийдя в МГТУ я был удивлен никого необноружив там…"

encodings = tokenizer(sentence, return_tensors="pt")
generated_tokens = model.generate(
        **encodings, forced_bos_token_id=tokenizer.get_lang_id("ru"))
answer = tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)
print(answer)

#["прийдя в МГТУ я был удивлен никого не обнаружив там..."]

✨ 主な機能

• ロシア語のテキスト内のスペルミスやタイプミスを修正します。
• 大規模なデータセットを使用して訓練され、高い精度を実現します。

📚 ドキュメント

公開参考文献

• SAGEライブラリの発表、DataFest 2023
• 合成誤り生成方法に関する論文、Dialogue 2023
• SAGEと当社の最良の解決策に関する論文、Review EACL 2024

例

評価指標

品質

以下は、スペルチェッカーの正確性を判断するための自動評価指標です。当社の解決策を、すべての4つの利用可能なデータセットで、オープンな自動スペルチェッカーとChatGPTファミリーのモデルと比較しています。

• RUSpellRU：(LiveJournal)から収集されたテキストで、手動で修正されたタイプミスと誤りが含まれています。
• MultidomainGold：オープンウェブ、ニュース、ソーシャルメディア、レビュー、字幕、政策文書、文学作品など、7つのテキストソースからの例。
• MedSpellChecker：医療アナムネシスからの誤りを含むテキスト。
• GitHubTypoCorpusRu：GitHubのコミット内のスペルミスとタイプミス。

RUSpellRU

MultidomainGold

MedSpellChecker

GitHubTypoCorpusRu

リソース

• SAGEライブラリ、GitHub
• ruM2M100-1.2B、HuggingFace
• ruM2M100-418M、HuggingFace
• FredT5-large-spell、HuggingFace
• T5-large-spell、HuggingFace

仕様

📄 ライセンス

当社の解決策が基づいているM2M100-1.2Bモデルとそのソースコードは、MITオープンライセンスで提供されています。当社の解決策もMITライセンスで提供されます。

🔧 技術詳細

当社の修正器は、M2M100-1.2Bモデルをベースに訓練されています。訓練コーパスは、ロシア語のウィキペディアとロシア語の動画の文字起こしを基に作成され、その後、SAGEライブラリを使用して自動的にタイプミスとスペルミスが導入されました。

📞 お問い合わせ

nikita.martynov.98@list.ru