Legal T5 Small Summ It

🚀 legal_t5_small_summ_itモデル

このモデルは、イタリア語で書かれた法的テキストの要約を行うためのものです。初めて公開されたのは、このリポジトリです。このモデルは、jrc - acquisの3つの並列コーパスで学習されています。

✨ 主な機能

モデルの説明

legal_t5_small_summ_itは、t5 - smallモデルをベースにしており、大規模な並列テキストコーパスで学習されています。これはより小さなモデルで、dmodel = 512、dff = 2,048、8ヘッドのアテンションを使用し、エンコーダとデコーダそれぞれに6層しか持たず、t5のベースラインモデルを縮小したものです。このバリエーションには約6000万個のパラメータがあります。

想定される用途と制限

このモデルは、イタリア語で書かれた法的テキストの要約に使用できます。

📦 インストール

このセクションでは、インストールに関する具体的な手順が提供されていません。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline

pipeline = TranslationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_summ_it"),
tokenizer=AutoTokenizer.from_pretrained(pretrained_model_name_or_path = "SEBIS/legal_t5_small_summ_it", do_lower_case=False, 
                                            skip_special_tokens=True),
    device=0
)

it_text = "LA COMMISSIONE DELLE COMUNITÀ EUROPEE, visto il trattato che istituisce la Comunità europea, visto il regolamento (CEE) n. 2082/92 del Consiglio, del 14 luglio 1992, relativo alle attestazioni di specificità dei prodotti agricoli ed alimentari(1), in particolare l'articolo 9, paragrafo 1, considerando quanto segue: (1) A norma dell'articolo 7 del regolamento (CEE) n. 2082/92, la Finlandia ha trasmesso alla Commissione una domanda di registrazione della denominazione %quot%Kalakukko%quot% quale attestazione di specificità. (2) La dicitura %quot%specialità tradizionale garantita%quot% può applicarsi soltanto a denominazioni figuranti nel summenzionato albo. (3) Nessuna dichiarazione di opposizione, ai sensi dell'articolo 8 del summenzionato regolamento, è stata trasmessa alla Commissione a seguito della pubblicazione nella Gazzetta ufficiale delle Comunità europee(2) della denominazione figurante nell'allegato del presente regolamento. (4) Di conseguenza, la denominazione di cui all'allegato può essere iscritta nell'albo delle attestazioni di specificità e beneficiare pertanto della protezione a livello comunitario quale specialità tradizionale garantita nella Comunità in virtù dell'articolo 13, paragrafo 2, del regolamento (CEE) n. 2082/92. (5) L'allegato del presente regolamento completa l'allegato del regolamento (CE) n. 2301/97 della Commissione(3), modificato da ultimo dal regolamento (CE) n. 688/2002(4), HA ADOTTATO IL PRESENTE REGOLAMENTO: Articolo 1 La denominazione di cui all'allegato del presente regolamento è aggiunta all'allegato del regolamento (CE) n. 2301/97 e iscritta nell'albo delle attestazioni di specificità, conformemente all'articolo 9, paragrafo 1, del regolamento (CEE) n. 2082/92. Tale denominazione è protetta ai sensi dell'articolo 13, paragrafo 2, del summenzionato regolamento. Articolo 2 Il presente regolamento entra in vigore il ventesimo giorno successivo alla pubblicazione nella Gazzetta ufficiale delle Comunità europee. Il presente regolamento è obbligatorio in tutti i suoi elementi e direttamente applicabile in ciascuno degli Stati membri. Fatto a Bruxelles, il 15 luglio 2002. Per la Commissione Franz Fischler Membro della Commissione (1) GU L 208 del 24.7.1992, pag. 9. (2) GU C 235 del 21.8.2001, pag. 12. (3) GU L 319 del 21.11.1997, pag. 8. (4) GU L 106 del 23.4.2002, pag. 7. ALLEGATO Prodotti della panetteria, della pasticceria, della confetteria o della biscotteria - Kalakukko "

pipeline([it_text], max_length=512)

📚 ドキュメント

学習データ

legal_t5_small_summ_itモデルは、JRC - ACQUISデータセットで学習されており、このデータセットは22000のテキストで構成されています。

学習手順

このモデルは、単一のTPU Pod V3 - 8で合計250Kステップ学習されました。シーケンス長は512（バッチサイズ64）です。合計で約2.2億個のパラメータを持ち、エンコーダ - デコーダアーキテクチャを使用して学習されました。最適化アルゴリズムには、事前学習用の逆平方根学習率スケジュールを持つAdaFactorが使用されています。

前処理

並列コーパス（すべての可能な言語ペア）の8800万行のテキストで学習されたユニグラムモデルを使用して語彙を取得し（バイトペアエンコーディング）、このモデルで使用されています。

事前学習

事前学習に関する具体的な内容は、元の文書に記載がありません。

評価結果

このモデルを分類テストデータセットに使用した場合、以下の結果が得られます。

BibTeXエントリと引用情報

Created by Ahmed Elnaggar/@Elnaggar_AI | LinkedIn