Zhtw En

🚀 zhtw-en

このモデルは、台湾風の繁體中文を理解し、より正確な英文翻訳を生成することを目的として、繁體中文の文章を英文に翻訳します。

🚀 クイックスタート

このモデルは、Helsinki-NLP/opus-mt-zh-en をベースに、zetavg/coct-en-zh-tw-translations-twp-300k データセットでファインチューニングされました。評価セットでは、以下の結果を達成しています。

• 損失: 2.4350
• 処理された入力トークン数: 55653732

✨ 主な機能

意図された使用例

• 中国語の単文を英語に翻訳すること。
• 台湾で話される中国語を理解する必要があるアプリケーション。

制限事項

• 単文翻訳を目的として設計されているため、前処理なしでは長いテキストでは性能が低下する可能性があります。
• 特に入力が短いまたは長い場合、情報を幻覚的に生成したり省略したりすることがあります。
• さらなるファインチューニングによりこの問題を解決できます。

📦 インストール

このセクションでは、インストールに関する情報が提供されていません。

💻 使用例

基本的な使用法

from transformers import pipeline

model_checkpoint = "agentlans/zhtw-en"
translator = pipeline("translation", model=model_checkpoint)

# 摘自中文維基百科的今日文章
# From Chinese Wikipedia's article of the day
translator("《阿奇大戰鐵血戰士》是2015年4至7月黑馬漫畫和阿奇漫畫在美國發行的四期限量連環漫畫圖書，由亞歷克斯·德坎皮創作，費爾南多·魯伊斯繪圖，屬跨公司跨界作品。")[0]['translation_text']

# 輸出
# Output
# Acer's Iron Blood Fighter is a four-year series of comic books published in the United States by Black Horse and Ah Chi comics from April to July of that year. The book was created by Alexander d'Campie and painted by Philnanto Ruiz. It is a cross-firm work.

# 與我自己的黃金標準翻譯比較:
# Compare with my own gold standard translation:
# "Archie vs. Predator" is a limited four-issue comic book series published by Black Horse and Archie Comics in the United States from April to July 2015. It was created by Alex de Campi and drawn by Fernando Ruiz. It's a crossover work.

📚 ドキュメント

トレーニング手順

トレーニングハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 5e-05
• トレーニングバッチサイズ: 8
• 評価バッチサイズ: 8
• シード: 42
• オプティマイザ: betas=(0.9,0.999) および epsilon=1e-08 の adamw_torch
• 学習率スケジューラタイプ: linear
• エポック数: 3.0

トレーニング結果

フレームワークバージョン

• Transformers 4.48.1
• Pytorch 2.3.0+cu121
• Datasets 3.2.0
• Tokenizers 0.21.0

🔧 技術詳細

このセクションでは、技術的な詳細に関する情報が提供されていません。

📄 ライセンス

このモデルは cc-by-4.0 ライセンスの下で提供されています。