Sage Mt5 Large

🚀 sage-mt5-large

このモデルは、ロシア語と英語の両方の文章におけるスペルミスやタイプミスを修正し、文章中のすべての単語を言語の規範に合わせます。この修正器は、mT5-large アーキテクチャをベースにトレーニングされています。トレーニングコーパスとして、「人工的」な誤りを含む大規模なデータセットが使用されています。このコーパスは、ロシア語のウィキペディアとロシア語のビデオの文字起こしを基に作成され、その後、SAGE ライブラリを使用して自動的にタイプミスとスペルミスが導入されました。

🚀 クイックスタート

このモデルを使用するには、以下の手順に従ってください。

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("ai-forever/sage-mt5-large")
model = AutoModelForSeq2SeqLM.from_pretrained("ai-forever/sage-mt5-large", device_map='cuda')

sentence = "Перведи мне текст на аглиском: \"Screw you kuys, I am goin hme (c)."
inputs = tokenizer(sentence, max_length=None, padding="longest", truncation=False, return_tensors="pt")
outputs = model.generate(**inputs.to(model.device), max_length = inputs["input_ids"].size(1) * 1.5)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))

# ["Переведи мне текст на английском: "Screw you guys, I am going home" (c)."]

✨ 主な機能

• ロシア語と英語の文章におけるスペルミスやタイプミスを修正します。
• mT5-large アーキテクチャをベースにトレーニングされています。
• 大規模な「人工的」誤りを含むデータセットを使用してトレーニングされています。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("ai-forever/sage-mt5-large")
model = AutoModelForSeq2SeqLM.from_pretrained("ai-forever/sage-mt5-large", device_map='cuda')

sentence = "Перведи мне текст на аглиском: \"Screw you kuys, I am goin hme (c)."
inputs = tokenizer(sentence, max_length=None, padding="longest", truncation=False, return_tensors="pt")
outputs = model.generate(**inputs.to(model.device), max_length = inputs["input_ids"].size(1) * 1.5)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))

# ["Переведи мне текст на английском: "Screw you guys, I am going home" (c)."]

📚 ドキュメント

公開されている参考文献

• SAGEライブラリの発表, DataFest 2023
• 合成誤り生成方法に関する論文, Dialogue 2023
• SAGE EACL 2024論文

入出力の例

評価指標

品質

以下は、スペルチェッカーの正確性を判断するための自動評価指標です。私たちは、利用可能なすべての6つのデータセットで、オープンな自動スペルチェッカーとChatGPTファミリーのモデルの両方と私たちのソリューションを比較しています。

• RUSpellRU: (LiveJournal) から収集されたテキストで、手動で修正されたタイプミスと誤りが含まれています。
• MultidomainGold: オープンウェブ、ニュース、ソーシャルメディア、レビュー、字幕、政策文書、文学作品など7つのテキストソースからの例が含まれています。
• MedSpellChecker: 医療アナムネーシスからの誤りを含むテキストです。
• GitHubTypoCorpusRu: GitHub のコミットに含まれるスペルミスとタイプミスです。
• BEA60K: いくつかのドメインから収集された英語のスペルミスです。
• JFLEG: 約2000のスペルミスを含む1601文の英語の文章です。

RUSpellRU、MultidomainGold、MedSpellChecker、GitHubTypoCorpusRu はロシア語のスペルチェック用のデータセットで、BEA60K と JFLEG は英語用のデータセットです。

RUSpellRU

MultidomainGold

MedSpellChecker

GitHubTypoCorpusRu

BEA60K

JFLEG

制限事項

• ロシア語については、より良い性能を得るためにモデルをファインチューニングすることを推奨します。

リソース

• SAGEライブラリ, GitHub
• sage-fredt5-large, HuggingFace
• sage-fredt5-distilled-95m, HuggingFace
• sage-m2m100-1.2B, HuggingFace
• sage-mt5-large, HuggingFace

仕様

連絡先

nikita.martynov.98@list.ru

📄 ライセンス

私たちのソリューションが基になっている mT5-large モデルとそのソースコードは、Apache-2.0ライセンスで提供されています。私たちのソリューションは、MITライセンスで提供されています。