Romaneng2nep V3

🚀 romaneng2nep_v2

romaneng2nep_v2 是一個基於預訓練模型微調的翻譯模型，它在羅馬化尼泊爾語到尼泊爾語的音譯任務中表現出色。該模型基於 google/mt5-small 模型，在 syubraj/roman2nepali-transliteration 數據集上進行微調，能有效將羅馬化的尼泊爾語文本轉換為標準尼泊爾語文本。

🚀 快速開始

安裝依賴

!pip install transformers

代碼示例

from transformers import AutoTokenizer, MT5ForConditionalGeneration

checkpoint = "syubraj/romaneng2nep_v3"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = MT5ForConditionalGeneration.from_pretrained(checkpoint)

# 設置最大序列長度
max_seq_len = 20

def translate(text):
    # 以最大長度20對輸入文本進行分詞
    inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=max_seq_len)

    # 生成翻譯結果
    translated = model.generate(**inputs)

    # 將翻譯後的標記解碼迴文本
    translated_text = tokenizer.decode(translated[0], skip_special_tokens=True)
    return translated_text

# 示例用法
source_text = "muskuraudai"  # 示例羅馬化尼泊爾語文本
translated_text = translate(source_text)
print(f"翻譯結果: {translated_text}")

✨ 主要特性

• 微調模型：基於 google/mt5-small 進行微調，在羅馬化尼泊爾語到尼泊爾語的音譯任務上有更好的表現。
• 評估指標良好：在評估集上，損失值為 2.9652，生成長度為 5.1538。

📦 安裝指南

使用該模型前，需要安裝 transformers 庫，可通過以下命令進行安裝：

!pip install transformers

💻 使用示例

基礎用法

from transformers import AutoTokenizer, MT5ForConditionalGeneration

checkpoint = "syubraj/romaneng2nep_v3"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = MT5ForConditionalGeneration.from_pretrained(checkpoint)

# Set max sequence length
max_seq_len = 20

def translate(text):
    # Tokenize the input text with a max length of 20
    inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=max_seq_len)

    # Generate translation
    translated = model.generate(**inputs)

    # Decode the translated tokens back to text
    translated_text = tokenizer.decode(translated[0], skip_special_tokens=True)
    return translated_text

# Example usage
source_text = "muskuraudai"  # Example Romanized Nepali text
translated_text = translate(source_text)
print(f"Translated Text: {translated_text}")

📚 詳細文檔

模型信息

訓練過程

訓練超參數

訓練過程中使用了以下超參數：

• 學習率：2e-05
• 訓練批次大小：24
• 評估批次大小：24
• 隨機種子：42
• 優化器：Adam（betas=(0.9,0.999)，epsilon=1e-08）
• 學習率調度器類型：線性
• 訓練輪數：4

訓練結果

框架版本

• Transformers 4.45.1
• Pytorch 2.4.0
• Datasets 3.0.1
• Tokenizers 0.20.0

引用說明

如果您覺得這個模型有用，請引用以下內容：

@misc {yubraj_sigdel_2024,
	author       = { {Yubraj Sigdel} },
	title        = { romaneng2nep_v3 (Revision dca017e) },
	year         = 2024,
	url          = { https://huggingface.co/syubraj/romaneng2nep_v3 },
	doi          = { 10.57967/hf/3252 },
	publisher    = { Hugging Face }
}

📄 許可證

本項目採用 apache-2.0 許可證。