Legal T5 Small Multitask Sv It

🚀 legal_t5_small_multitask_sv_itモデル

このモデルは、スウェーデン語の法的テキストをイタリア語に翻訳するためのものです。最初はthis repositoryで公開されました。このモデルは、jrc - acquis、europarl、dcepの3つの並列コーパス（42の言語ペア）を用いて並列に学習され、マスク言語モデルの予測タスクを含む教師なしタスクも同時に行います。

🚀 クイックスタート

このモデルは、スウェーデン語の法的テキストをイタリア語に翻訳するために使用できます。以下に、PyTorchでこのモデルを使って翻訳する方法を示します。

from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline

pipeline = TranslationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_multitask_sv_it"),
tokenizer=AutoTokenizer.from_pretrained(pretrained_model_name_or_path = "SEBIS/legal_t5_small_multitask_sv_it", do_lower_case=False, 
                                            skip_special_tokens=True),
    device=0
)

sv_text = "De nationella tillsynsmyndigheterna får använda"

pipeline([sv_text], max_length=512)

✨ 主な機能

このモデルは、スウェーデン語からイタリア語への法的テキストの翻訳に特化しています。

📚 ドキュメント

モデルの説明

legal_t5_small_multitask_sv_itモデルでは事前学習は行われず、すべての翻訳タスクに教師なしタスクを追加してマルチタスク学習を実現しています。

想定される用途と制限

このモデルは、スウェーデン語の法的テキストをイタリア語に翻訳するために使用できます。

学習データ

legal_t5_small_multitask_sv_itモデル（対応する言語ペアのみを含む教師ありタスクと、すべての言語ペアのデータが利用可能な教師なしタスク）は、[JRC - ACQUIS](https://wt - public.emm4u.eu/Acquis/index_2.2.html)、EUROPARL、[DCEP](https://ec.europa.eu/jrc/en/language - technologies/dcep)のデータセット（800万の並列テキスト）を用いて学習されました。

学習手順

このモデルは、単一のTPU Pod V3 - 8で合計250Kステップ、シーケンス長512（バッチサイズ4096）で学習されました。約2億2000万のパラメータを持ち、エンコーダ - デコーダアーキテクチャを使用して学習されました。オプティマイザには、逆平方根学習率スケジュールを持つAdaFactorが使用されました。

前処理

並列コーパス（すべての可能な言語ペア）の8800万行のテキストを用いて学習されたユニグラムモデルを使って語彙（バイトペアエンコーディング）を取得し、このモデルで使用しています。

評価結果

このモデルを翻訳テストデータセットに適用した場合、以下の結果が得られます。

BibTeXエントリと引用情報

Created by Ahmed Elnaggar/@Elnaggar_AI | [LinkedIn](https://www.linkedin.com/in/prof - ahmed - elnaggar/)

📄 ライセンス

原文書にライセンス情報は記載されていません。