Legal T5 Small Trans De En

🚀 legal_t5_small_trans_de_enモデル

このモデルは、ドイツ語の法的テキストを英語に翻訳するためのものです。最初は、このリポジトリで公開されました。このモデルは、jrc - acquis、europarl、dcepの3つの平行コーパスで学習されています。

✨ 主な機能

このモデルは、ドイツ語の法的テキストを英語に翻訳するために使用できます。

📚 ドキュメント

モデルの説明

legal_t5_small_trans_de_enは、t5 - smallモデルをベースに、大規模な平行テキストコーパスで学習されています。これはより小さなモデルで、dmodel = 512、dff = 2,048、8ヘッドのアテンションを使用し、エンコーダとデコーダにそれぞれ6層のみを使用することで、t5のベースラインモデルを縮小しています。このバリアントには約6000万個のパラメータがあります。

想定される用途と制限

このモデルは、ドイツ語の法的テキストを英語に翻訳するために使用できます。

使い方

以下は、このモデルを使用して、PyTorchでドイツ語の法的テキストを英語に翻訳する方法です。

from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline

pipeline = TranslationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_trans_de_en"),
tokenizer=AutoTokenizer.from_pretrained(pretrained_model_name_or_path = "SEBIS/legal_t5_small_trans_de_en", do_lower_case=False, 
                                            skip_special_tokens=True),
    device=0
)

de_text = "Eisenbahnunternehmen müssen Fahrkarten über mindestens einen der folgenden Vertriebswege anbieten: an Fahrkartenschaltern oder Fahrkartenautomaten, per Telefon, Internet oder jede andere in weitem Umfang verfügbare Informationstechnik oder in den Zügen."

pipeline([de_text], max_length=512)

学習データ

legal_t5_small_trans_de_enモデルは、[JRC - ACQUIS](https://wt - public.emm4u.eu/Acquis/index_2.2.html)、EUROPARL、および[DCEP](https://ec.europa.eu/jrc/en/language - technologies/dcep)のデータセット（約500万の平行テキストから構成される）で学習されています。

学習手順

このモデルは、単一のTPU Pod V3 - 8で合計250,000ステップ、シーケンス長512（バッチサイズ4096）を使用して学習されました。総計で約2.2億個のパラメータを持ち、エンコーダ - デコーダアーキテクチャを使用して学習されています。使用されるオプティマイザは、事前学習用の逆平方根学習率スケジュールを持つAdaFactorです。

前処理

平行コーパス（すべての可能な言語ペア）からの8800万行のテキストで学習されたユニグラムモデルを使用して語彙を取得し（バイトペアエンコーディングを使用）、このモデルで使用されます。

評価結果

このモデルを翻訳テストデータセットに使用した場合、以下の結果が得られます。

BibTeXエントリと引用情報

Created by Ahmed Elnaggar/@Elnaggar_AI | [LinkedIn](https://www.linkedin.com/in/prof - ahmed - elnaggar/)