Romaneng2nep V3

🚀 romaneng2nep_v2

このモデルは、google/mt5-small を syubraj/roman2nepali-transliteration でファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 2.9652
• 生成長: 5.1538

🚀 クイックスタート

このモデルを使用するには、まず必要なライブラリをインストールし、モデルをロードして翻訳を行います。以下に具体的な手順を示します。

📦 インストール

必要なライブラリをインストールするには、以下のコマンドを実行します。

!pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, MT5ForConditionalGeneration

checkpoint = "syubraj/romaneng2nep_v3"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = MT5ForConditionalGeneration.from_pretrained(checkpoint)

# Set max sequence length
max_seq_len = 20

def translate(text):
    # Tokenize the input text with a max length of 20
    inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=max_seq_len)

    # Generate translation
    translated = model.generate(**inputs)

    # Decode the translated tokens back to text
    translated_text = tokenizer.decode(translated[0], skip_special_tokens=True)
    return translated_text

# Example usage
source_text = "muskuraudai"  # Example Romanized Nepali text
translated_text = translate(source_text)
print(f"Translated Text: {translated_text}")

📚 ドキュメント

トレーニング手順

トレーニングハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 2e-05
• トレーニングバッチサイズ: 24
• 評価バッチサイズ: 24
• シード: 42
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラタイプ: linear
• エポック数: 4

トレーニング結果

フレームワークバージョン

• Transformers 4.45.1
• Pytorch 2.4.0
• Datasets 3.0.1
• Tokenizers 0.20.0

引用

このモデルが役に立った場合は、以下のように引用してください。

@misc {yubraj_sigdel_2024,
	author       = { {Yubraj Sigdel} },
	title        = { romaneng2nep_v3 (Revision dca017e) },
	year         = 2024,
	url          = { https://huggingface.co/syubraj/romaneng2nep_v3 },
	doi          = { 10.57967/hf/3252 },
	publisher    = { Hugging Face }
}

📄 ライセンス

このモデルは apache-2.0 ライセンスの下で提供されています。