🚀 韓英雙向翻譯模型ko2en_bidirection2
本模型是一個強大的翻譯工具,基於特定數據集對基礎模型進行微調,在韓英互譯任務中表現出色,能為用戶提供準確且高效的翻譯服務。
🚀 快速開始
此模型是基於KETI-AIR/long-ke-t5-base在KETI-AIR/aihub_koenzh_food_translation、KETI-AIR/aihub_scitech_translation、KETI-AIR/aihub_scitech20_translation、KETI-AIR/aihub_socialtech20_translation、KETI-AIR/aihub_spoken_language_translation等數據集上微調得到的。它在評估集上取得了如下成果:
- 損失值:0.5716
- 藍斯評分(Bleu):51.5949
- 生成長度:28.8348
✨ 主要特性
- 多領域適用:使用多個不同領域的數據集進行訓練,包括食品翻譯、科技翻譯、社會科技翻譯、口語翻譯等,能適應多種場景的翻譯需求。
- 雙向翻譯:支持韓語到英語和英語到韓語的雙向翻譯。
📦 安裝指南
文檔未提供具體安裝步驟,暫不展示。
💻 使用示例
基礎用法
以下是一些使用示例:
# 韓語到英語翻譯示例1
輸入: translate_ko2en: IBM 왓슨X는 AI 및 데이터 플랫폼이다. 신뢰할 수 있는 데이터, 속도, 거버넌스를 갖고 파운데이션 모델 및 머신 러닝 기능을 포함한 AI 모델을 학습시키고, 조정해, 조직 전체에서 활용하기 위한 전 과정을 아우르는 기술과 서비스를 제공한다.
輸出: 待模型翻譯結果
# 韓語到英語翻譯示例2
輸入: translate_ko2en: 이용자는 신뢰할 수 있고 개방된 환경에서 자신의 데이터에 대해 자체적인 AI를 구축하거나, 시장에 출시된 AI 모델을 정교하게 조정할 수 있다. 대규모로 활용하기 위한 도구 세트, 기술, 인프라 및 전문 컨설팅 서비스를 활용할 수 있다.
輸出: 待模型翻譯結果
# 英語到韓語翻譯示例1
輸入: translate_en2ko: The Seoul Metropolitan Government said Wednesday that it would develop an AI-based congestion monitoring system to provide better information to passengers about crowd density at each subway station.
輸出: 待模型翻譯結果
# 英語到韓語翻譯示例2
輸入: translate_en2ko: According to Seoul Metro, the operator of the subway service in Seoul, the new service will help analyze the real-time flow of passengers and crowd levels in subway compartments, improving operational efficiency.
輸出: 待模型翻譯結果
📚 詳細文檔
訓練和評估數據
使用了KETI-AIR/aihub_koenzh_food_translation、KETI-AIR/aihub_scitech_translation、KETI-AIR/aihub_scitech20_translation、KETI-AIR/aihub_socialtech20_translation、KETI-AIR/aihub_spoken_language_translation等數據集進行訓練和評估。
訓練過程
訓練超參數
訓練過程中使用了以下超參數:
屬性 |
詳情 |
學習率 |
0.001 |
訓練批次大小 |
16 |
評估批次大小 |
16 |
隨機種子 |
42 |
分佈式類型 |
多GPU |
設備數量 |
8 |
總訓練批次大小 |
128 |
總評估批次大小 |
128 |
優化器 |
Adam(β1=0.9,β2=0.999,ε=1e-08) |
學習率調度器類型 |
線性 |
訓練輪數 |
3.0 |
訓練結果
訓練損失 |
輪數 |
步數 |
驗證損失 |
藍斯評分(Bleu) |
生成長度 |
0.7004 |
1.0 |
187524 |
0.6461 |
28.0622 |
17.8368 |
0.6176 |
2.0 |
375048 |
0.5967 |
29.3033 |
17.8281 |
0.5642 |
3.0 |
562572 |
0.5716 |
30.0045 |
17.8366 |
框架版本
- Transformers 4.25.1
- Pytorch 1.12.0
- Datasets 2.8.0
- Tokenizers 0.13.2
🔧 技術細節
文檔未提供具體技術細節,暫不展示。
📄 許可證
本模型採用Apache-2.0許可證。