Legal T5 Small Trans Cs En Small Finetuned

🚀 legal_t5_small_trans_cs_en_small_finetuned模型

legal_t5_small_trans_cs_en_small_finetuned是一個用於將法律文本從捷克語翻譯成英語的模型。它首次發佈於 此倉庫。該模型先在所有翻譯數據上針對一些無監督任務進行預訓練，然後在來自jrc - acquis、europarl和dcep的三個平行語料庫上進行訓練。

🚀 快速開始

本模型可用於將法律文本從捷克語翻譯成英語。以下是在PyTorch中使用該模型進行翻譯的示例：

from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline

pipeline = TranslationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_trans_cs_en_small_finetuned"),
tokenizer=AutoTokenizer.from_pretrained(pretrained_model_name_or_path = "SEBIS/legal_t5_small_trans_cs_en", do_lower_case=False, 
                                            skip_special_tokens=True),
    device=0
)

cs_text = "4) Seznam užívaných výrobků s obsahem PFOS: Kvůli značnému poklesu výroby PFOS po roce 2000 představují největší zdroj emisí patrně dřívější využití, která však nadále reálně existují."

pipeline([cs_text], max_length=512)

✨ 主要特性

• 該模型基於t5 - small模型，在大規模平行文本語料庫上進行訓練。
• 是一個較小的模型，通過使用dmodel = 512、dff = 2,048、8頭注意力機制，且編碼器和解碼器各僅6層，將t5的基線模型進行了縮小。此變體約有6000萬個參數。

📚 詳細文檔

模型描述

legal_t5_small_trans_cs_en_small_finetuned最初在訓練集的所有數據上針對無監督任務進行預訓練，該無監督任務是“掩碼語言建模”。它基於t5 - small模型，在大量平行文本語料庫上進行訓練。

預期用途與侷限性

該模型可用於將法律文本從捷克語翻譯成英語。

訓練數據

legal_t5_small_trans_cs_en_small_finetuned模型（涉及僅對應語言對的有監督任務，以及所有語言對數據都可用的無監督任務）在[JRC - ACQUIS](https://wt - public.emm4u.eu/Acquis/index_2.2.html)、EUROPARL和[DCEP](https://ec.europa.eu/jrc/en/language - technologies/dcep)數據集上進行訓練，這些數據集包含500萬個平行文本。

訓練過程

• 訓練環境：該模型在單個TPU Pod V3 - 8上總共訓練了250K步，使用序列長度512（批量大小4096）。它總共有約2.2億個參數，採用編碼器 - 解碼器架構進行訓練。
• 優化器：預訓練使用的優化器是AdaFactor，採用平方根倒數學習率調度。

預處理

使用從平行語料庫（所有可能的語言對）的8800萬行文本訓練的一元模型來獲取詞彙表（使用字節對編碼），該詞彙表用於此模型。

預訓練

預訓練數據是來自所有42個語言對的組合數據。模型的任務是預測句子中隨機掩碼的部分。

評估結果

當該模型用於翻譯測試數據集時，取得了以下結果：

BibTeX引用與引用信息

由 Ahmed Elnaggar/@Elnaggar_AI 創建 | [領英](https://www.linkedin.com/in/prof - ahmed - elnaggar/)

📄 許可證

文檔未提及相關許可證信息。