legal_t5_small_trans_sv_enオープンソースモデル - スウェーデン語の法的テキストの英語翻訳を無料で効率的に実現

Legal T5 Small Trans Sv En

SEBISによって開発

スウェーデン語の法律テキストを英語に翻訳するための専用軽量化T5モデル。三大平行コーパスに基づいて訓練されています。

ダウンロード数 21

リリース時間 : 3/2/2022

モデル概要

このモデルは、法律テキストをスウェーデン語から英語に翻訳するために特別に設計されています。jrc - acquis、europarl、dcepの三大平行コーパスに基づいて訓練され、軽量化のT5 - smallアーキテクチャを採用しています。

モデル特徴

法律分野の専門化

法律テキスト翻訳に特化して最適化されており、法律用語を正確に処理します。

軽量化設計

T5 - smallアーキテクチャを採用し、パラメータ規模は約6000万で、計算資源の要求が低いです。

多源訓練データ

JRC - ACQUIS、EUROPARL、DCEPの三大権威ある法律コーパスを統合しています。

モデル能力

法律テキスト翻訳

スウェーデン語から英語への翻訳

専門用語の処理

使用事例

法律文書翻訳

欧州連合法律文書の翻訳

スウェーデン語版の欧州連合法律文書を英語に翻訳する

法律用語の正確性と文型の規範性を維持する

司法手続き文書の処理

法律訴訟関連の文書や調査文書を翻訳する

手続き的な表現の正確な伝達を確保する

🚀 legal_t5_small_trans_sv_enモデル

このモデルは、スウェーデン語の法的テキストを英語に翻訳するためのものです。初めて公開されたのは、このリポジトリです。このモデルは、jrc - acquis、europarl、dcepの3つの並列コーパスで学習されています。

🚀 クイックスタート

このモデルは、スウェーデン語の法的テキストを英語に翻訳するために使用できます。

✨ 主な機能

スウェーデン語の法的テキストを英語に翻訳することができます。

📚 ドキュメント

モデルの説明

legal_t5_small_trans_sv_enは、t5-smallモデルをベースにしており、大量の並列テキストコーパスで学習されています。これは小型のモデルで、dmodel = 512、dff = 2,048、8ヘッドのアテンションを使用し、エンコーダとデコーダそれぞれに6層のみを持つことで、t5のベースラインモデルを縮小しています。このバリエーションには約6000万個のパラメータがあります。

想定される用途と制限

このモデルは、スウェーデン語の法的テキストを英語に翻訳するために使用できます。

使い方

以下は、このモデルを使用して、PyTorchでスウェーデン語の法的テキストを英語に翻訳する方法です。

from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline

pipeline = TranslationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_trans_sv_en"),
tokenizer=AutoTokenizer.from_pretrained(pretrained_model_name_or_path = "SEBIS/legal_t5_small_trans_sv_en", do_lower_case=False, 
                                            skip_special_tokens=True),
    device=0
)

sv_text = "Om rättsliga förfaranden inleds rörande omständigheter som ombudsmannen utreder skall han avsluta ärendet."

pipeline([sv_text], max_length=512)

学習データ

legal_t5_small_trans_sv_enモデルは、[JRC - ACQUIS](https://wt - public.emm4u.eu/Acquis/index_2.2.html)、EUROPARL、および[DCEP](https://ec.europa.eu/jrc/en/language - technologies/dcep)のデータセットで学習されており、これらのデータセットには合計で500万の並列テキストが含まれています。

学習手順

このモデルは、単一のTPU Pod V3 - 8で合計250Kステップ学習されました。シーケンス長は512（バッチサイズ4096）です。総計で約2億2000万個のパラメータを持ち、エンコーダ - デコーダアーキテクチャを使用して学習されました。最適化アルゴリズムには、事前学習用の逆平方根学習率スケジュールを持つAdaFactorが使用されています。