Sage Fredt5 Distilled 95m

🚀 sage-fredt5-distilled-95m

このモデルは、テキスト内の全ての単語をロシア語の規範に合わせることで、スペルや句読点の誤り、タイポを修正します。コレクターは、FRED - T5 - 1.7B アーキテクチャをベースにトレーニングされた元のモデルの蒸留バージョンです。トレーニングコーパスとして、「人工的」な誤りを含む大規模なデータセットが使用されました。このコーパスは、ロシア語のウィキペディアとロシア語のビデオの文字起こしを基に作成され、その後、SAGE ライブラリを使用して自動的にタイポやスペルミスが導入されました。

🚀 クイックスタート

このモデルを使用するには、以下のPythonコードを実行します。

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("ai-forever/sage-fredt5-distilled-95m")
model = AutoModelForSeq2SeqLM.from_pretrained("ai-forever/sage-fredt5-distilled-95m")

model.to("cuda")

sentence = "И не чсно прохожим в этот день непогожйи почему я веселый такйо"
inputs = tokenizer(sentence, max_length=None, padding="longest", truncation=False, return_tensors="pt")
outputs = model.generate(**inputs.to(model.device), max_length = inputs["input_ids"].size(1) * 1.5)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))

# ["И не ясно прохожим в этот день непогожий, почему я весёлый такой?"]

✨ 主な機能

• ロシア語のテキストにおけるスペルと句読点の誤り、タイポを修正します。
• 蒸留バージョンであり、効率的な性能を提供します。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("ai-forever/sage-fredt5-distilled-95m")
model = AutoModelForSeq2SeqLM.from_pretrained("ai-forever/sage-fredt5-distilled-95m")

model.to("cuda")

sentence = "И не чсно прохожим в этот день непогожйи почему я веселый такйо"
inputs = tokenizer(sentence, max_length=None, padding="longest", truncation=False, return_tensors="pt")
outputs = model.generate(**inputs.to(model.device), max_length = inputs["input_ids"].size(1) * 1.5)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))

# ["И не ясно прохожим в этот день непогожий, почему я весёлый такой?"]

📚 ドキュメント

公開されている参考文献

• SAGEライブラリの発表、DataFest 2023
• 合成誤り生成方法に関する論文、Dialogue 2023
• SAGE EACL 2024論文

入出力の例

評価指標

品質

以下は、スペルチェッカーの正確性を判断するための自動評価指標です。利用可能な4つのデータセットすべてにおいて、当社のソリューションをオープンな自動スペルチェッカーとChatGPTファミリーのモデルと比較しています。

• RUSpellRU：(LiveJournal) から収集され、手動で修正されたタイポと誤りを含むテキスト。
• MultidomainGold：オープンウェブ、ニュース、ソーシャルメディア、レビュー、字幕、政策文書、文学作品など7つのテキストソースからの例。
• MedSpellChecker：医療アナムネシスからの誤りを含むテキスト。
• GitHubTypoCorpusRu：GitHub のコミットにおけるスペルミスとタイポ。

RUSpellRU

MultidomainGold

MedSpellChecker

GitHubTypoCorpusRu

制限事項

• 複雑な書式は、出力生成に問題を引き起こす可能性があります。

リソース

• SAGEライブラリ、GitHub
• sage-fredt5-large、HuggingFace
• sage-fredt5-distilled-95m、HuggingFace
• sage-m2m100-1.2B、HuggingFace
• sage-mt5-large、HuggingFace

🔧 技術詳細

• ファイルサイズ: 0.383 Gb
• フレームワーク: pytorch
• バージョン: v1.0
• 開発者: SberDevices, AGI NLP

📄 ライセンス

当社のソリューションが基になっているモデル FRED - T5 - 1.7B とそのソースコードは、MITライセンスの下で提供されています。当社のソリューションも同様にMITライセンスです。

連絡先

nikita.martynov.98@list.ru