Sage Mt5 Large

🚀 sage-mt5-large

sage-mt5-large模型能够对俄语和英语文本进行拼写错误和打字错误的纠正，将文本中的所有单词规范为正确的语言表达形式，为多语言文本处理提供了有效的解决方案。

🚀 快速开始

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("ai-forever/sage-mt5-large")
model = AutoModelForSeq2SeqLM.from_pretrained("ai-forever/sage-mt5-large", device_map='cuda')

sentence = "Перведи мне текст на аглиском: \"Screw you kuys, I am goin hme (c)."
inputs = tokenizer(sentence, max_length=None, padding="longest", truncation=False, return_tensors="pt")
outputs = model.generate(**inputs.to(model.device), max_length = inputs["input_ids"].size(1) * 1.5)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))

# ["Переведи мне текст на английском: \"Screw you guys, I am going home\" (c)."]

✨ 主要特性

• 该模型能够纠正俄语和英语中的拼写错误和打字错误，将文本中的所有单词规范为语言标准形式。
• 基于 mT5-large 架构进行训练。
• 使用了包含“人为”错误的广泛数据集作为训练语料库，该语料库基于俄语维基百科和俄语视频的文字记录构建，并使用 SAGE 库自动引入拼写错误和打字错误。

📚 详细文档

公开引用

• SAGE库公告，DataFest 2023
• 关于合成错误生成方法的论文，Dialogue 2023
• SAGE EACL 2024论文

示例

指标

质量

以下是用于确定拼写检查器正确性的自动指标。我们在所有六个可用数据集上，将我们的解决方案与开放的自动拼写检查器和ChatGPT系列模型进行了比较：

• RUSpellRU：从 (LiveJournal) 收集的文本，其中的拼写错误和打字错误已手动纠正。
• MultidomainGold：来自7个文本来源的示例，包括开放网络、新闻、社交媒体、评论、字幕、政策文件和文学作品。
• MedSpellChecker：来自医学病历的错误文本。
• GitHubTypoCorpusRu：来自 GitHub 提交中的拼写错误和打字错误。
• BEA60K：从多个领域收集的英语拼写错误。
• JFLEG：1601个英语句子，其中包含约2000个拼写错误。

RUSpellRU、MultidomainGold、MedSpellChecker和GitHubTypoCorpusRu是用于俄语拼写检查的数据集，而BEA60K和JFLEG是用于英语的数据集。

RUSpellRU

MultidomainGold

MedSpellChecker

GitHubTypoCorpusRu

BEA60K

JFLEG

局限性

• 对于俄语，建议对该模型进行微调以获得更好的性能。

资源

• SAGE库，GitHub
• sage-fredt5-large，HuggingFace
• sage-fredt5-distilled-95m，HuggingFace
• sage-m2m100-1.2B，HuggingFace
• sage-mt5-large，HuggingFace

规格

联系方式

nikita.martynov.98@list.ru

📄 许可证

我们的解决方案基于 mT5-large 模型构建，该模型及其源代码遵循Apache-2.0许可证。我们的解决方案遵循MIT许可证。