Legal T5 Small Multitask Sv En

🚀 legal_t5_small_multitask_sv_en模型

legal_t5_small_multitask_sv_en是一個用於將瑞典語法律文本翻譯成英語的模型。它首次發佈於 此倉庫。該模型在來自jrc - acquis、europarl和dcep的三個平行語料庫上進行並行訓練，涵蓋42種語言對。同時，模型還參與了無監督任務，遵循掩碼語言模型的預測任務。

✨ 主要特性

• 無需預訓練，將無監督任務與所有翻譯任務相結合，實現多任務學習。
• 可用於將瑞典語法律文本翻譯成英語。

📦 安裝指南

文檔中未提及具體安裝步驟，可參考transformers庫的安裝方式，使用以下命令安裝：

pip install transformers

💻 使用示例

基礎用法

以下是如何在PyTorch中使用此模型將瑞典語法律文本翻譯成英語的示例：

from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline

pipeline = TranslationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_multitask_sv_en"),
tokenizer=AutoTokenizer.from_pretrained(pretrained_model_name_or_path = "SEBIS/legal_t5_small_multitask_sv_en", do_lower_case=False, 
                                            skip_special_tokens=True),
    device=0
)

sv_text = "inlämnat av följande ledamöter:"

pipeline([sv_text], max_length=512)

📚 詳細文檔

模型描述

legal_t5_small_multitask_sv_en模型不涉及預訓練，而是將無監督任務添加到所有翻譯任務中，以實現多任務學習場景。

預期用途和限制

該模型可用於將瑞典語法律文本翻譯成英語。

訓練數據

legal_t5_small_multitask_sv_en模型（監督任務僅涉及相應的語言對，無監督任務則可使用所有語言對的數據）在 [JRC - ACQUIS](https://wt - public.emm4u.eu/Acquis/index_2.2.html)、EUROPARL 和 [DCEP](https://ec.europa.eu/jrc/en/language - technologies/dcep) 數據集上進行訓練，這些數據集包含900萬條平行文本。

訓練過程

• 模型在單個TPU Pod V3 - 8上總共訓練了250K步，使用序列長度512（批量大小4096）。
• 該模型總共有約2.2億個參數，採用編碼器 - 解碼器架構進行訓練。
• 使用的優化器是AdaFactor，學習率調度採用平方根倒數策略。

預處理

使用來自平行語料庫（所有可能的語言對）的8800萬行文本訓練了一個一元模型，以獲取詞彙表（使用字節對編碼），該詞彙表與此模型一起使用。

評估結果

當模型用於翻譯測試數據集時，取得了以下結果：

BibTeX引用和引用信息

Created by Ahmed Elnaggar/@Elnaggar_AI | [LinkedIn](https://www.linkedin.com/in/prof - ahmed - elnaggar/)