legal_t5_small_trans_cs_en_small_finetunedオープンソースモデル - チェコ語の法的文本を英語に無料で翻訳する

ホーム

Legal T5 Small Trans Cs En Small Finetuned

SEBISによって開発

チェコ語の法律テキストを英語に翻訳するための小型T5モデル。6000万パラメータのアーキテクチャに基づいています。

機械翻訳 #法律テキスト翻訳 #チェコ語 - 英語 #軽量化T5

ダウンロード数 18

リリース時間 : 3/2/2022

モデル概要

このモデルは、法律テキストをチェコ語から英語に翻訳するために特別に設計されており、軽量化T5アーキテクチャを採用し、JRC - ACQUIS、EUROPARL、DCEPなどの法律コーパスで学習されています。

モデル特徴

法律分野最適化

法律テキスト翻訳に特化して微調整されており、法律用語や複雑な文型を処理する能力が高いです。

軽量化アーキテクチャ

モデルの次元(dmodel = 512)と層数(6層)を削減することで、効率的な推論を実現しています。

混合学習戦略

教師なし事前学習(マスク言語モデリング)と教師あり平行コーパス学習を組み合わせています。

モデル能力

法律テキスト翻訳

複雑な文型処理

専門用語変換

使用事例

法律文書翻訳

欧州連合法律条文翻訳

チェコ語版の欧州連合法律文書を正確に英語に翻訳します。

BLEUスコア56.936

法律製品説明翻訳

専門用語を含む製品コンプライアンス説明テキストを翻訳します。

🚀 legal_t5_small_trans_cs_en_small_finetunedモデル

このモデルは、法的なテキストをチェコ語から英語に翻訳するためのものです。最初はthis repositoryで公開されました。このモデルは、まず全ての翻訳データを使って教師なしタスクで事前学習され、その後、jrc - acquis、europarl、dcepの3つの平行コーパスで学習されました。

✨ 主な機能

legal_t5_small_trans_cs_en_small_finetunedモデルは、トレーニングセットの全データを使って、「マスク言語モデリング」という教師なしタスクで事前学習されています。このモデルはt5 - smallモデルをベースにしており、大規模な平行テキストコーパスで学習されています。これはより小さなモデルで、dmodel = 512、dff = 2,048、8ヘッドのアテンション、エンコーダとデコーダそれぞれ6層を使用することで、t5のベースラインモデルを縮小しています。このバリエーションには約6000万のパラメータがあります。

🚀 クイックスタート

このモデルは、法的なテキストをチェコ語から英語に翻訳するために使用できます。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline

pipeline = TranslationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_trans_cs_en_small_finetuned"),
tokenizer=AutoTokenizer.from_pretrained(pretrained_model_name_or_path = "SEBIS/legal_t5_small_trans_cs_en", do_lower_case=False, 
                                            skip_special_tokens=True),
    device=0
)

cs_text = "4) Seznam užívaných výrobků s obsahem PFOS: Kvůli značnému poklesu výroby PFOS po roce 2000 představují největší zdroj emisí patrně dřívější využití, která však nadále reálně existují."

pipeline([cs_text], max_length=512)

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションは省略されます。

📚 ドキュメント

モデルの学習データ

legal_t5_small_trans_cs_en_small_finetunedモデルは、[JRC - ACQUIS](https://wt - public.emm4u.eu/Acquis/index_2.2.html)、EUROPARL、[DCEP](https://ec.europa.eu/jrc/en/language - technologies/dcep)のデータセット（合計500万の平行テキスト）を使って学習されました。

学習手順

このモデルは、単一のTPU Pod V3 - 8上で、シーケンス長512（バッチサイズ4096）で合計250Kステップ学習されました。総計で約2億2000万のパラメータがあり、エンコーダ - デコーダアーキテクチャを使用して学習されました。最適化アルゴリズムには、事前学習に逆平方根学習率スケジュールを持つAdaFactorが使用されました。