long-ke-t5-base-translation-aihub-en2ko開源翻譯模型 - 精準實現英語到韓語高效翻譯

Home

Long Ke T5 Base Translation Aihub En2ko

Developed by KETI-AIR-Downstream

基於KETI-AIR/long-ke-t5-base微調的英語到韓語翻譯模型，在多個AI Hub數據集上訓練，BLEU分數達42.463。

機器翻譯

Transformers

Supports Multiple LanguagesOpen Source License:Apache-2.0 #英韓翻譯 #AI翻譯 #多領域適配

Downloads 35

Release Time : 4/28/2023

Model Overview

該模型專門用於英語到韓語的文本翻譯任務，適用於多種領域包括科技、社交和口語翻譯。

Model Features

多領域適應能力

在科技、食品、社交和口語等多個領域的翻譯數據集上訓練，具備廣泛適用性。

高性能翻譯

在評估集上取得42.463的BLEU分數，表明其翻譯質量較高。

大規模訓練

使用8個GPU進行分佈式訓練，總訓練批次大小達128，確保模型充分學習。

Model Capabilities

英語到韓語文本翻譯

多領域文本處理

長文本翻譯

Use Cases

公共服務

地鐵信息翻譯

翻譯地鐵運營信息和乘客指南

提供準確的地鐵站人群密度信息翻譯

科技文獻

科技論文翻譯

將英語科技文獻翻譯為韓語

🚀 en2ko

這個模型是基於 KETI-AIR/long-ke-t5-base 在 KETI-AIR/aihub_koenzh_food_translation、KETI-AIR/aihub_scitech_translation、KETI-AIR/aihub_scitech20_translation、KETI-AIR/aihub_socialtech20_translation、KETI-AIR/aihub_spoken_language_translation 數據集上進行微調的版本。它在評估集上取得了以下成果：

損失值：0.6000
BLEU分數：42.463
生成長度：30.6512

✨ 主要特性

支持英語到韓語的翻譯任務。
基於預訓練模型 KETI-AIR/long-ke-t5-base 進行微調，在特定數據集上有較好的表現。

📚 詳細文檔

模型描述

該模型是在特定數據集上對基礎模型 KETI-AIR/long-ke-t5-base 進行微調得到的，用於英語到韓語的翻譯任務。

預期用途與限制

文檔暫未提供相關信息。

訓練和評估數據

使用了 KETI-AIR/aihub_koenzh_food_translation、KETI-AIR/aihub_scitech_translation、KETI-AIR/aihub_scitech20_translation、KETI-AIR/aihub_socialtech20_translation、KETI-AIR/aihub_spoken_language_translation 等數據集。

訓練過程

訓練超參數

訓練過程中使用了以下超參數：

學習率：0.001
訓練批次大小：16
評估批次大小：16
隨機種子：42
分佈式類型：多GPU
設備數量：8
總訓練批次大小：128
總評估批次大小：128
優化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e-08）
學習率調度器類型：線性
訓練輪數：3.0

訓練結果

訓練損失	輪數	步數	驗證損失	BLEU分數	生成長度
0.6989	1.0	93762	0.6666	20.3697	18.1258
0.6143	2.0	187524	0.6181	21.2903	18.1428
0.5544	3.0	281286	0.6000	21.9763	18.1424

框架版本

Transformers 4.25.1
Pytorch 1.12.0
Datasets 2.8.0
Tokenizers 0.13.2

📄 許可證

本模型採用 Apache-2.0 許可證。

📦 相關信息

屬性	詳情
支持語言	英語、韓語
基礎模型	KETI-AIR/long-ke-t5-base
數據集	KETI-AIR/aihub_koenzh_food_translation、KETI-AIR/aihub_scitech_translation、KETI-AIR/aihub_scitech20_translation、KETI-AIR/aihub_socialtech20_translation、KETI-AIR/aihub_spoken_language_translation
評估指標	BLEU
任務類型	翻譯

💻 使用示例

示例 1

輸入: translate_en2ko: The Seoul Metropolitan Government said Wednesday that it would develop an AI-based congestion monitoring system to provide better information to passengers about crowd density at each subway station.

示例 2

輸入: translate_en2ko: According to Seoul Metro, the operator of the subway service in Seoul, the new service will help analyze the real-time flow of passengers and crowd levels in subway compartments, improving operational efficiency.