Legal T5 Small Summ En

🚀 legal_t5_small_summ_enモデル

このモデルは、英語で書かれた法的テキストの要約を行うためのものです。初めて公開されたのは、このリポジトリです。このモデルは、jrc - acquisの3つの並列コーパスで学習されています。

🚀 クイックスタート

このモデルは、英語で書かれた法的テキストの要約に使用できます。以下に、PyTorchでこのモデルを使用して英語の法的テキストを要約する方法を示します。

from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline

pipeline = TranslationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_summ_en"),
tokenizer=AutoTokenizer.from_pretrained(pretrained_model_name_or_path = "SEBIS/legal_t5_small_summ_en", do_lower_case=False, 
                                            skip_special_tokens=True),
    device=0
)

en_text = "THE COMMISSION OF THE EUROPEAN COMMUNITIES, Having regard to the Treaty establishing the European Community, Having regard to Council Regulation (EC) No 1255/1999 of 17 May 1999 on the common organisation of the market in milk and milk products [1], and in particular Article 15 thereof, Whereas: (1) Article 7(1) of Commission Regulation (EC) No 2799/1999 [2] fixes the amount of aid for skimmed milk and skimmed-milk powder intended for animal feed taking into account the factors set out in Article 11(2) of Regulation (EC) No 1255/1999. In view of the developments in the market price of skimmed-milk powder, of the increase in the market prices for competing proteins, and of the reduction of the supply of skimmed-milk powder, the amount of aid should be reduced. (2) Regulation (EC) No 2799/1999 should therefore be amended accordingly. (3) The Management Committee for Milk and Milk Products has not delivered an opinion within the time-limit set by its chairman, HAS ADOPTED THIS REGULATION: Article 1 In Article 7 of Regulation (EC) No 2799/1999, paragraph 1 is replaced by the following: \"1. Aid is fixed at: (a) EUR 1,62 per 100 kg of skimmed milk with a protein content of not less than 35,6 % of the non-fatty dry extract; (b) EUR 1,42 per 100 kg of skimmed milk with a protein content of not less than 31,4 % but less than 35,6 % of the non-fatty dry extract; (c) EUR 20,00 per 100 kg of skimmed-milk powder with a protein content of not less than 35,6 % of the non-fatty dry extract; (d) EUR 17,64 per 100 kg of skimmed-milk powder with a protein content of not less than 31,4 % but less than 35,6 % of the non-fatty dry extract.\" Article 2 This Regulation shall enter into force on the day following its publication in the Official Journal of the European Union. This Regulation shall be binding in its entirety and directly applicable in all Member States. Done at Brussels, 19 April 2006. For the Commission Mariann Fischer Boel Member of the Commission [1] OJ L 160, 26.6.1999, p. 48. Regulation as last amended by Regulation (EC) No 1913/2005 (OJ L 307, 25.11.2005, p. 2). [2] OJ L 340, 31.12.1999, p. 3. Regulation as last amended by Regulation (EC) No 1194/2005 (OJ L 194, 26.7.2005, p. 7). -------------------------------------------------- "

pipeline([en_text], max_length=512)

✨ 主な機能

• 英語で書かれた法的テキストの要約に使用できます。

📚 ドキュメント

モデルの説明

legal_t5_small_summ_enは、t5 - smallモデルをベースに、大規模な並列テキストコーパスで学習されています。これはより小さなモデルで、dmodel = 512、dff = 2,048、8ヘッドのアテンションを使用し、エンコーダとデコーダにそれぞれ6層のみを使用することで、t5のベースラインモデルを縮小しています。このバリアントには約6000万個のパラメータがあります。

想定される用途と制限

このモデルは、英語で書かれた法的テキストの要約に使用できます。

学習データ

legal_t5_small_summ_enモデルは、[JRC - ACQUIS](https://wt - public.emm4u.eu/Acquis/index_2.2.html)データセット（22000個のテキストから構成される）で学習されています。

学習手順

このモデルは、単一のTPU Pod V3 - 8で合計250Kステップ、シーケンス長512（バッチサイズ64）で学習されました。合計で約2.2億個のパラメータを持ち、エンコーダ - デコーダアーキテクチャを使用して学習されました。使用されるオプティマイザは、事前学習に逆平方根学習率スケジュールを持つAdaFactorです。

前処理

並列コーパス（すべての可能な言語ペア）からの8800万行のテキストで学習されたユニグラムモデルを使用して、語彙（バイトペアエンコーディング付き）を取得し、このモデルで使用しています。

事前学習

事前学習に関する詳細な説明は省略します。

評価結果

このモデルを分類テストデータセットに使用した場合、以下の結果が得られます。

BibTeXエントリと引用情報

Created by Ahmed Elnaggar/@Elnaggar_AI | [LinkedIn](https://www.linkedin.com/in/prof - ahmed - elnaggar/)