Sage M2m100 1.2B

🚀 sage-m2m100-1.2B模型

該模型能夠將文本中的所有單詞規範為俄語標準形式，從而糾正拼寫錯誤和打字錯誤。它基於M2M100 - 1.2B模型進行訓練，為俄語拼寫檢查提供了高效準確的解決方案。

🚀 快速開始

該模型通過將文本中的所有單詞規範為俄語語言的標準形式來糾正拼寫錯誤和打字錯誤。校正器基於M2M100 - 1.2B模型進行訓練。訓練語料採用了一個包含“人為”錯誤的廣泛數據集：該語料庫基於俄語維基百科和俄語視頻的文字記錄進行組裝，然後使用SAGE庫自動引入拼寫錯誤和打字錯誤。此模型是預訓練模型的微調版本。

✨ 主要特性

• 拼寫糾錯：能夠將文本中的單詞規範為俄語標準形式，有效糾正拼寫錯誤和打字錯誤。
• 廣泛數據集訓練：基於包含大量“人為”錯誤的數據集訓練，該數據集來源於俄語維基百科和視頻文字記錄。
• 微調模型：是預訓練模型RuM2M100 - 1.2B的微調版本。

📚 詳細文檔

公開引用

• SAGE庫發佈，DataFest 2023
• 關於合成錯誤生成方法的論文，Dialogue 2023
• SAGE EACL 2024論文

資源鏈接

• SAGE庫，GitHub
• sage - fredt5 - large，HuggingFace
• sage - fredt5 - distilled - 95m，HuggingFace
• sage - m2m100 - 1.2B，HuggingFace
• sage - mt5 - large，HuggingFace

規格說明

聯繫方式

nikita.martynov.98@list.ru

💻 使用示例

基礎用法

from transformers import M2M100ForConditionalGeneration, M2M100Tokenizer

path_to_model = "ai-forever/sage-m2m100-1.2B"
model = M2M100ForConditionalGeneration.from_pretrained(path_to_model)
tokenizer = M2M100Tokenizer.from_pretrained(path_to_model, src_lang="ru", tgt_lang="ru")

sentence = "прийдя в МГТУ я был удивлен никого необноружив там…"
encodings = tokenizer(sentence, return_tensors="pt")
generated_tokens = model.generate(
        **encodings, forced_bos_token_id=tokenizer.get_lang_id("ru"))
answer = tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)

print(answer)
#["прийдя в МГТУ я был удивлен никого не обнаружив там..."]

示例展示

🔧 技術細節

指標評估

以下是用於確定拼寫檢查器正確性的自動指標。我們在所有四個可用數據集上，將我們的解決方案與開源自動拼寫檢查器以及ChatGPT系列模型進行了比較：

• RUSpellRU：從(LiveJournal)收集的文本，其中的拼寫錯誤和打字錯誤已手動糾正。
• MultidomainGold：來自7個文本來源的示例，包括開放網絡、新聞、社交媒體、評論、字幕、政策文件和文學作品。
• MedSpellChecker：包含醫療病歷中錯誤的文本。
• GitHubTypoCorpusRu：來自GitHub提交記錄中的拼寫錯誤和打字錯誤。

RUSpellRU數據集指標

MultidomainGold數據集指標

MedSpellChecker數據集指標

GitHubTypoCorpusRu數據集指標

📄 許可證

我們的解決方案基於的M2M100 - 1.2B模型及其源代碼遵循MIT開放許可證。我們的解決方案也採用MIT許可證。