Legal T5 Small Multitask Cs It

🚀 legal_t5_small_multitask_cs_it 模型

這是一個用於將捷克語法律文本翻譯成意大利語的模型，為法律文本的跨語言交流提供了高效的解決方案。

🚀 快速開始

legal_t5_small_multitask_cs_it 模型用於將捷克語法律文本翻譯成意大利語。它首次發佈於 此倉庫。該模型在來自 JRC-ACQUIS、EUROPARL 和 DCEP 的三個平行語料庫上進行並行訓練，涵蓋 42 種語言對，同時還進行了無監督任務，即遵循掩碼語言模型的預測任務。

✨ 主要特性

• 無需預訓練，而是將無監督任務與所有翻譯任務相結合，實現多任務學習場景。
• 可用於將捷克語法律文本翻譯成意大利語。

📦 安裝指南

暫未提及安裝步驟，可參考相關依賴庫的安裝方法。

💻 使用示例

基礎用法

以下是如何在 PyTorch 中使用該模型將捷克語法律文本翻譯成意大利語的示例：

from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline

pipeline = TranslationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_multitask_cs_it"),
tokenizer=AutoTokenizer.from_pretrained(pretrained_model_name_or_path = "SEBIS/legal_t5_small_multitask_cs_it", do_lower_case=False, 
                                            skip_special_tokens=True),
    device=0
)

cs_text = "Příprava Evropské rady (29.-30. října 2009)"

pipeline([cs_text], max_length=512)

📚 詳細文檔

訓練數據

legal_t5_small_multitask_cs_it 模型（監督任務僅涉及相應的語言對，無監督任務則可使用所有語言對的數據）在 JRC-ACQUIS、EUROPARL 和 DCEP 數據集上進行訓練，這些數據集包含 500 萬條平行文本。

訓練過程

該模型在單個 TPU Pod V3 - 8 上總共訓練了 250K 步，使用序列長度為 512（批量大小為 4096）。它總共有約 2.2 億個參數，並使用編碼器 - 解碼器架構進行訓練。使用的優化器是 AdaFactor，學習率採用逆平方根調度。

預處理

使用從平行語料庫（所有可能的語言對）中 8800 萬行文本訓練的一元模型來獲取詞彙表（使用字節對編碼），該詞彙表用於此模型。

評估結果

當使用該模型進行翻譯測試數據集時，取得了以下結果：

BibTeX 引用和引用信息

由 Ahmed Elnaggar/@Elnaggar_AI 創建 | LinkedIn