Legal T5 Small Trans De Sv

🚀 legal_t5_small_trans_de_sv模型

legal_t5_small_trans_de_sv模型用於將德語法律文本翻譯成瑞典語，為法律文本的跨語言交流提供了高效的解決方案，提升了法律信息傳播的便捷性。

🚀 快速開始

legal_t5_small_trans_de_sv模型首次發佈於 此倉庫，該模型在來自jrc - acquis、europarl和dcep的三個平行語料庫上進行訓練。以下是在PyTorch中使用該模型將德語法律文本翻譯成瑞典語的示例：

from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline

pipeline = TranslationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_trans_de_sv"),
tokenizer=AutoTokenizer.from_pretrained(pretrained_model_name_or_path = "SEBIS/legal_t5_small_trans_de_sv", do_lower_case=False, 
                                            skip_special_tokens=True),
    device=0
)

de_text = "Betrifft: Leader-Programm"

pipeline([de_text], max_length=512)

✨ 主要特性

• 基於t5 - small模型，在大量平行文本語料庫上進行訓練。
• 屬於較小規模的模型，通過使用dmodel = 512、dff = 2,048、8頭注意力機制，且編碼器和解碼器均僅6層，對t5的基線模型進行了縮放，該變體約有6000萬個參數。

📦 安裝指南

文檔未提及具體安裝命令，故跳過此章節。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline

pipeline = TranslationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_trans_de_sv"),
tokenizer=AutoTokenizer.from_pretrained(pretrained_model_name_or_path = "SEBIS/legal_t5_small_trans_de_sv", do_lower_case=False, 
                                            skip_special_tokens=True),
    device=0
)

de_text = "Betrifft: Leader-Programm"

pipeline([de_text], max_length=512)

高級用法

文檔未提及高級用法相關代碼示例，故跳過此部分。

📚 詳細文檔

模型描述

legal_t5_small_trans_de_sv基於t5 - small模型，在大量平行文本語料庫上進行訓練。這是一個較小的模型，通過使用dmodel = 512、dff = 2,048、8頭注意力機制，且編碼器和解碼器均僅6層，對t5的基線模型進行了縮放，該變體約有6000萬個參數。

預期用途和限制

該模型可用於將德語法律文本翻譯成瑞典語。

訓練數據

legal_t5_small_trans_de_sv模型在 [JRC - ACQUIS](https://wt - public.emm4u.eu/Acquis/index_2.2.html)、EUROPARL 和 [DCEP](https://ec.europa.eu/jrc/en/language - technologies/dcep) 數據集上進行訓練，這些數據集包含500萬條平行文本。

訓練過程

• 模型在單個TPU Pod V3 - 8上總共訓練了250K步，使用序列長度512（批量大小4096）。
• 該模型總共約有2.2億個參數，採用編碼器 - 解碼器架構進行訓練。
• 訓練使用的優化器是AdaFactor，並採用平方根倒數學習率調度進行預訓練。

預處理

使用從平行語料庫（所有可能的語言對）的8800萬行文本訓練的一元模型來獲取詞彙表（使用字節對編碼），該詞彙表用於此模型。

評估結果

當模型用於翻譯測試數據集時，取得了以下結果：

BibTeX引用和引用信息

由 Ahmed Elnaggar/@Elnaggar_AI 創建 | [領英](https://www.linkedin.com/in/prof - ahmed - elnaggar/)

🔧 技術細節

模型基於t5 - small架構進行縮放，通過特定的參數設置（如dmodel = 512、dff = 2,048等）減少了模型規模，同時在多個大規模平行語料庫上進行訓練，採用編碼器 - 解碼器架構和AdaFactor優化器，使用平方根倒數學習率調度進行預訓練，這些技術細節保證了模型在德語到瑞典語法律文本翻譯任務上的性能。

📄 許可證

文檔未提及許可證信息，故跳過此章節。