Legal T5 Small Trans De Sv

🚀 legal_t5_small_trans_de_svモデル

このモデルは、ドイツ語の法的テキストをスウェーデン語に翻訳するためのものです。初めて公開されたのは、このリポジトリです。このモデルは、jrc - acquis、europarl、dcepの3つの並列コーパスを使用して学習されています。

🚀 クイックスタート

legal_t5_small_trans_de_svモデルは、ドイツ語の法的テキストをスウェーデン語に翻訳するために使用できます。以下に、このモデルの基本的な使い方を説明します。

✨ 主な機能

• ドイツ語の法的テキストをスウェーデン語に翻訳する機能を提供します。
• t5 - smallモデルをベースにしており、比較的小規模なモデルです。

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のコードを参考にしてください。

from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline

pipeline = TranslationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_trans_de_sv"),
tokenizer=AutoTokenizer.from_pretrained(pretrained_model_name_or_path = "SEBIS/legal_t5_small_trans_de_sv", do_lower_case=False, 
                                            skip_special_tokens=True),
    device=0
)

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline

pipeline = TranslationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_trans_de_sv"),
tokenizer=AutoTokenizer.from_pretrained(pretrained_model_name_or_path = "SEBIS/legal_t5_small_trans_de_sv", do_lower_case=False, 
                                            skip_special_tokens=True),
    device=0
)

de_text = "Betrifft: Leader-Programm"

pipeline([de_text], max_length=512)

📚 ドキュメント

モデルの説明

legal_t5_small_trans_de_svは、t5-smallモデルをベースにしており、大規模な並列テキストコーパスで学習されています。これは比較的小規模なモデルで、dmodel = 512、dff = 2,048、8ヘッドのアテンションを使用し、エンコーダとデコーダそれぞれに6層しか持たず、t5のベースラインモデルを縮小しています。このバリアントには約6000万個のパラメータがあります。

想定される用途と制限

このモデルは、ドイツ語の法的テキストをスウェーデン語に翻訳するために使用できます。

学習データ

legal_t5_small_trans_de_svモデルは、[JRC - ACQUIS](https://wt - public.emm4u.eu/Acquis/index_2.2.html)、EUROPARL、および[DCEP](https://ec.europa.eu/jrc/en/language - technologies/dcep)のデータセットを使用して学習されています。これらのデータセットは合計で500万の並列テキストを含んでいます。

学習手順

このモデルは、単一のTPU Pod V3 - 8上で合計250Kステップ学習されました。シーケンス長は512（バッチサイズ4096）です。合計で約2.2億個のパラメータを持ち、エンコーダ - デコーダアーキテクチャを使用して学習されました。最適化手法には、事前学習用の逆平方根学習率スケジュールを持つAdaFactorが使用されています。

前処理

並列コーパス（すべての可能な言語ペア）からの8800万行のテキストで学習されたユニグラムモデルを使用して、語彙（バイトペアエンコーディング付き）を取得し、このモデルで使用しています。

評価結果

このモデルを翻訳テストデータセットに使用した場合、以下の結果が得られます。

BibTeXエントリと引用情報

Created by Ahmed Elnaggar/@Elnaggar_AI | [LinkedIn](https://www.linkedin.com/in/prof - ahmed - elnaggar/)

📄 ライセンス

原文書にライセンス情報が記載されていないため、このセクションは省略されています。