Sage Fredt5 Distilled 95m

🚀 sage-fredt5-distilled-95m

該模型能夠將文本中的所有單詞規範為俄語標準形式，從而糾正拼寫和標點錯誤以及打字錯誤。

🚀 快速開始

代碼示例

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("ai-forever/sage-fredt5-distilled-95m")
model = AutoModelForSeq2SeqLM.from_pretrained("ai-forever/sage-fredt5-distilled-95m")

model.to("cuda")

sentence = "И не чсно прохожим в этот день непогожйи почему я веселый такйо"
inputs = tokenizer(sentence, max_length=None, padding="longest", truncation=False, return_tensors="pt")
outputs = model.generate(**inputs.to(model.device), max_length = inputs["input_ids"].size(1) * 1.5)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))

# ["И не ясно прохожим в этот день непогожий, почему я весёлый такой?"]

✨ 主要特性

• 該模型能夠將文本中的所有單詞規範為俄語標準形式，從而糾正拼寫和標點錯誤以及打字錯誤。
• 校正器是基於 FRED-T5-1.7B 架構訓練的原始模型的蒸餾版本。
• 訓練語料採用了包含 “人工” 錯誤的廣泛數據集：該語料庫基於俄語維基百科和俄語視頻的文字記錄進行組裝，然後使用 SAGE 庫自動引入拼寫錯誤和打字錯誤。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("ai-forever/sage-fredt5-distilled-95m")
model = AutoModelForSeq2SeqLM.from_pretrained("ai-forever/sage-fredt5-distilled-95m")

model.to("cuda")

sentence = "И не чсно прохожим в этот день непогожйи почему я веселый такйо"
inputs = tokenizer(sentence, max_length=None, padding="longest", truncation=False, return_tensors="pt")
outputs = model.generate(**inputs.to(model.device), max_length = inputs["input_ids"].size(1) * 1.5)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))

# ["И не ясно прохожим в этот день непогожий, почему я весёлый такой?"]

📚 詳細文檔

公共引用

• SAGE 庫公告，DataFest 2023
• 關於合成錯誤生成方法的論文，Dialogue 2023
• SAGE EACL 2024 論文

示例

指標

質量

以下是用於確定拼寫檢查器正確性的自動指標。我們在所有四個可用數據集上，將我們的解決方案與開源自動拼寫檢查器和 ChatGPT 系列模型進行了比較：

• RUSpellRU：從 (LiveJournal) 收集的文本，其中的拼寫錯誤和打字錯誤已手動糾正；
• MultidomainGold：來自 7 個文本來源的示例，包括開放網絡、新聞、社交媒體、評論、字幕、政策文件和文學作品；
• MedSpellChecker：來自醫療病歷的錯誤文本；
• GitHubTypoCorpusRu：來自 GitHub 提交中的拼寫錯誤和打字錯誤。

RUSpellRU

MultidomainGold

MedSpellChecker

GitHubTypoCorpusRu

侷限性

• 複雜的格式可能會在輸出生成時帶來一些問題。

資源

• SAGE 庫，GitHub
• sage-fredt5-large，HuggingFace
• sage-fredt5-distilled-95m，HuggingFace
• sage-m2m100-1.2B，HuggingFace
• sage-mt5-large，HuggingFace

規格

聯繫方式

nikita.martynov.98@list.ru

📄 許可證

基於其構建我們解決方案的 FRED-T5-1.7B 模型及其源代碼遵循 MIT 許可證。我們的解決方案也採用 MIT 許可證。