Byt5 Text Correction

🚀 ByT5-text-correction

このモデルは、シンプルなテキスト修正を目的とした小規模な多言語ユーティリティモデルです。ウェブ上のテキストは、しばしば句読点や単語の大文字の使用が不適切であることが多いため、その品質を向上させるように設計されています。このモデルは、以下の3種類の修正を行うように訓練されています。

• 文章内の句読点の復元
• 単語の大文字の復元
• 特殊文字を含む言語における特殊文字の復元

サポートされている言語は以下の通りです。ベラルーシ語 (be)、デンマーク語 (da)、ドイツ語 (de)、ギリシャ語 (el)、英語 (en)、スペイン語 (es)、フランス語 (fr)、イタリア語 (it)、オランダ語 (nl)、ポーランド語 (pl)、ポルトガル語 (pt)、ルーマニア語 (ro)、ロシア語 (ru)、スロバキア語 (sk)、スウェーデン語 (sv)、ウクライナ語 (uk)。

モデルは、言語コードの接頭辞が付いた文章を入力として受け取ります。例えば：

💻 使用例

基本的な使用法

from transformers import pipeline
generator = pipeline("text2text-generation", model="sdadas/byt5-text-correction")
sentences = [
    "<pl> ciekaw jestem na co licza onuce stawiajace na sykulskiego w nadziei na zwrot ku rosji",
    "<de> die frage die sich die europäer stellen müssen lautet ist es in unserem interesse die krise auf taiwan zu beschleunigen",
    "<ru> при своём рождении 26 августа 1910 года тереза получила имя агнес бояджиу"
]
generator(sentences, max_length=512)
# Ciekaw jestem na co liczą onuce stawiające na Sykulskiego w nadziei na zwrot ku Rosji.
# Die Frage, die sich die Europäer stellen müssen, lautet: Ist es in unserem Interesse, die Krise auf Taiwan zu beschleunigen?
# При своём рождении 26 августа 1910 года Тереза получила имя Агнес Бояджиу.

📄 ライセンス

LGPL