Sage M2m100 1.2B

🚀 sage-m2m100-1.2B模型

该模型能够将文本中的所有单词规范为俄语标准形式，从而纠正拼写错误和打字错误。它基于M2M100 - 1.2B模型进行训练，为俄语拼写检查提供了高效准确的解决方案。

🚀 快速开始

该模型通过将文本中的所有单词规范为俄语语言的标准形式来纠正拼写错误和打字错误。校正器基于M2M100 - 1.2B模型进行训练。训练语料采用了一个包含“人为”错误的广泛数据集：该语料库基于俄语维基百科和俄语视频的文字记录进行组装，然后使用SAGE库自动引入拼写错误和打字错误。此模型是预训练模型的微调版本。

✨ 主要特性

• 拼写纠错：能够将文本中的单词规范为俄语标准形式，有效纠正拼写错误和打字错误。
• 广泛数据集训练：基于包含大量“人为”错误的数据集训练，该数据集来源于俄语维基百科和视频文字记录。
• 微调模型：是预训练模型RuM2M100 - 1.2B的微调版本。

📚 详细文档

公开引用

• SAGE库发布，DataFest 2023
• 关于合成错误生成方法的论文，Dialogue 2023
• SAGE EACL 2024论文

资源链接

• SAGE库，GitHub
• sage - fredt5 - large，HuggingFace
• sage - fredt5 - distilled - 95m，HuggingFace
• sage - m2m100 - 1.2B，HuggingFace
• sage - mt5 - large，HuggingFace

规格说明

联系方式

nikita.martynov.98@list.ru

💻 使用示例

基础用法

from transformers import M2M100ForConditionalGeneration, M2M100Tokenizer

path_to_model = "ai-forever/sage-m2m100-1.2B"
model = M2M100ForConditionalGeneration.from_pretrained(path_to_model)
tokenizer = M2M100Tokenizer.from_pretrained(path_to_model, src_lang="ru", tgt_lang="ru")

sentence = "прийдя в МГТУ я был удивлен никого необноружив там…"
encodings = tokenizer(sentence, return_tensors="pt")
generated_tokens = model.generate(
        **encodings, forced_bos_token_id=tokenizer.get_lang_id("ru"))
answer = tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)

print(answer)
#["прийдя в МГТУ я был удивлен никого не обнаружив там..."]

示例展示

🔧 技术细节

指标评估

以下是用于确定拼写检查器正确性的自动指标。我们在所有四个可用数据集上，将我们的解决方案与开源自动拼写检查器以及ChatGPT系列模型进行了比较：

• RUSpellRU：从(LiveJournal)收集的文本，其中的拼写错误和打字错误已手动纠正。
• MultidomainGold：来自7个文本来源的示例，包括开放网络、新闻、社交媒体、评论、字幕、政策文件和文学作品。
• MedSpellChecker：包含医疗病历中错误的文本。
• GitHubTypoCorpusRu：来自GitHub提交记录中的拼写错误和打字错误。

RUSpellRU数据集指标

MultidomainGold数据集指标

MedSpellChecker数据集指标

GitHubTypoCorpusRu数据集指标

📄 许可证

我们的解决方案基于的M2M100 - 1.2B模型及其源代码遵循MIT开放许可证。我们的解决方案也采用MIT许可证。