Sage Mt5 Large

🚀 sage-mt5-large

sage-mt5-large模型能夠對俄語和英語文本進行拼寫錯誤和打字錯誤的糾正，將文本中的所有單詞規範為正確的語言表達形式，為多語言文本處理提供了有效的解決方案。

🚀 快速開始

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("ai-forever/sage-mt5-large")
model = AutoModelForSeq2SeqLM.from_pretrained("ai-forever/sage-mt5-large", device_map='cuda')

sentence = "Перведи мне текст на аглиском: \"Screw you kuys, I am goin hme (c)."
inputs = tokenizer(sentence, max_length=None, padding="longest", truncation=False, return_tensors="pt")
outputs = model.generate(**inputs.to(model.device), max_length = inputs["input_ids"].size(1) * 1.5)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))

# ["Переведи мне текст на английском: \"Screw you guys, I am going home\" (c)."]

✨ 主要特性

• 該模型能夠糾正俄語和英語中的拼寫錯誤和打字錯誤，將文本中的所有單詞規範為語言標準形式。
• 基於 mT5-large 架構進行訓練。
• 使用了包含“人為”錯誤的廣泛數據集作為訓練語料庫，該語料庫基於俄語維基百科和俄語視頻的文字記錄構建，並使用 SAGE 庫自動引入拼寫錯誤和打字錯誤。

📚 詳細文檔

公開引用

• SAGE庫公告，DataFest 2023
• 關於合成錯誤生成方法的論文，Dialogue 2023
• SAGE EACL 2024論文

示例

指標

質量

以下是用於確定拼寫檢查器正確性的自動指標。我們在所有六個可用數據集上，將我們的解決方案與開放的自動拼寫檢查器和ChatGPT系列模型進行了比較：

• RUSpellRU：從 (LiveJournal) 收集的文本，其中的拼寫錯誤和打字錯誤已手動糾正。
• MultidomainGold：來自7個文本來源的示例，包括開放網絡、新聞、社交媒體、評論、字幕、政策文件和文學作品。
• MedSpellChecker：來自醫學病歷的錯誤文本。
• GitHubTypoCorpusRu：來自 GitHub 提交中的拼寫錯誤和打字錯誤。
• BEA60K：從多個領域收集的英語拼寫錯誤。
• JFLEG：1601個英語句子，其中包含約2000個拼寫錯誤。

RUSpellRU、MultidomainGold、MedSpellChecker和GitHubTypoCorpusRu是用於俄語拼寫檢查的數據集，而BEA60K和JFLEG是用於英語的數據集。

RUSpellRU

MultidomainGold

MedSpellChecker

GitHubTypoCorpusRu

BEA60K

JFLEG

侷限性

• 對於俄語，建議對該模型進行微調以獲得更好的性能。

資源

• SAGE庫，GitHub
• sage-fredt5-large，HuggingFace
• sage-fredt5-distilled-95m，HuggingFace
• sage-m2m100-1.2B，HuggingFace
• sage-mt5-large，HuggingFace

規格

聯繫方式

nikita.martynov.98@list.ru

📄 許可證

我們的解決方案基於 mT5-large 模型構建，該模型及其源代碼遵循Apache-2.0許可證。我們的解決方案遵循MIT許可證。