Sage Fredt5 Distilled 95m

🚀 sage-fredt5-distilled-95m

该模型能够将文本中的所有单词规范为俄语标准形式，从而纠正拼写和标点错误以及打字错误。

🚀 快速开始

代码示例

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("ai-forever/sage-fredt5-distilled-95m")
model = AutoModelForSeq2SeqLM.from_pretrained("ai-forever/sage-fredt5-distilled-95m")

model.to("cuda")

sentence = "И не чсно прохожим в этот день непогожйи почему я веселый такйо"
inputs = tokenizer(sentence, max_length=None, padding="longest", truncation=False, return_tensors="pt")
outputs = model.generate(**inputs.to(model.device), max_length = inputs["input_ids"].size(1) * 1.5)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))

# ["И не ясно прохожим в этот день непогожий, почему я весёлый такой?"]

✨ 主要特性

• 该模型能够将文本中的所有单词规范为俄语标准形式，从而纠正拼写和标点错误以及打字错误。
• 校正器是基于 FRED-T5-1.7B 架构训练的原始模型的蒸馏版本。
• 训练语料采用了包含 “人工” 错误的广泛数据集：该语料库基于俄语维基百科和俄语视频的文字记录进行组装，然后使用 SAGE 库自动引入拼写错误和打字错误。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("ai-forever/sage-fredt5-distilled-95m")
model = AutoModelForSeq2SeqLM.from_pretrained("ai-forever/sage-fredt5-distilled-95m")

model.to("cuda")

sentence = "И не чсно прохожим в этот день непогожйи почему я веселый такйо"
inputs = tokenizer(sentence, max_length=None, padding="longest", truncation=False, return_tensors="pt")
outputs = model.generate(**inputs.to(model.device), max_length = inputs["input_ids"].size(1) * 1.5)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))

# ["И не ясно прохожим в этот день непогожий, почему я весёлый такой?"]

📚 详细文档

公共引用

• SAGE 库公告，DataFest 2023
• 关于合成错误生成方法的论文，Dialogue 2023
• SAGE EACL 2024 论文

示例

指标

质量

以下是用于确定拼写检查器正确性的自动指标。我们在所有四个可用数据集上，将我们的解决方案与开源自动拼写检查器和 ChatGPT 系列模型进行了比较：

• RUSpellRU：从 (LiveJournal) 收集的文本，其中的拼写错误和打字错误已手动纠正；
• MultidomainGold：来自 7 个文本来源的示例，包括开放网络、新闻、社交媒体、评论、字幕、政策文件和文学作品；
• MedSpellChecker：来自医疗病历的错误文本；
• GitHubTypoCorpusRu：来自 GitHub 提交中的拼写错误和打字错误。

RUSpellRU

MultidomainGold

MedSpellChecker

GitHubTypoCorpusRu

局限性

• 复杂的格式可能会在输出生成时带来一些问题。

资源

• SAGE 库，GitHub
• sage-fredt5-large，HuggingFace
• sage-fredt5-distilled-95m，HuggingFace
• sage-m2m100-1.2B，HuggingFace
• sage-mt5-large，HuggingFace

规格

联系方式

nikita.martynov.98@list.ru

📄 许可证

基于其构建我们解决方案的 FRED-T5-1.7B 模型及其源代码遵循 MIT 许可证。我们的解决方案也采用 MIT 许可证。