Opus Mt Ko En Korean Parallel Corpora

🚀 opus-mt-ko-en-Korean_Parallel_Corpora

このモデルは、Helsinki-NLP/opus-mt-ko-en をファインチューニングしたバージョンです。このモデルは、韓国語から英語への翻訳タスクに特化しており、特定のデータセットを用いて訓練されています。

🚀 クイックスタート

このモデルは、韓国語から英語への翻訳を行うために使用できます。詳細な使い方やコード例については、公式のドキュメントを参照してください。

✨ 主な機能

• 韓国語から英語への翻訳を行うことができます。
• 特定のデータセットを用いて訓練されており、特定のドメインでの翻訳性能が期待できます。

📚 ドキュメント

モデルの説明

このモデルがどのように作成されたかについての詳細情報は、以下のリンクを参照してください：https://github.com/DunnBC22/NLP_Projects/blob/main/Machine%20Translation/Korean%20to%20English%20(Korean%20Parallel%20Corpora)/Korean_Parallel_Corpora_OPUS_Translation_Project.ipynb

⚠️ 重要提示

生成されたテキストが不十分な場合があります。意図は良いものの、技術的な制限により奇妙な出力が生成されることがあります。

想定される用途と制限

このモデルは、技術を用いて複雑な問題を解決する能力を示すために作成されました。

訓練と評価データ

データセットのソース: https://huggingface.co/datasets/Moo/korean-parallel-corpora

韓国語入力単語数のヒストグラム

英語入力単語数のヒストグラム

🔧 技術詳細

訓練ハイパーパラメータ

訓練中に使用されたハイパーパラメータは以下の通りです：

• learning_rate: 2e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 32
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 6

訓練結果

• eval_loss: 2.6620
• eval_bleu: 14.3395
• eval_rouge
  • rouge1: 0.4391
  • rouge2: 0.2022
  • rougeL: 0.3671
  • rougeLsum: 0.3671

⚠️ 重要提示

訓練結果の値は、最も近い万分の一に丸められています。

フレームワークのバージョン

• Transformers 4.31.0
• Pytorch 2.0.1+cu118
• Datasets 2.14.4
• Tokenizers 0.13.3

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。