Khmer Xlm Roberta Base 10k

🚀 XLM-RoBERTa Khmer Masked Language Model

このモデルは、クメール語と英語のマスク付き言語モデリングタスクに特化した、XLM - RoBERTaアーキテクチャを用いた事前学習言語モデルです。非公式な評価では、この事前学習モデルは、クメール語の文脈におけるMLMタスクで、元のFacebookAI/xlm - roberta - baseよりも優れた性能を発揮します。

✨ 主な機能

• クメール語のマスク付き言語モデリングタスクに特化した事前学習
• クメール語の特徴抽出
• クメール語の下流NLPタスクへのファインチューニング
• クメール語理解の研究

📦 インストール

このセクションではインストール手順に関する具体的なコマンドが提供されていないため、スキップします。

💻 使用例

基本的な使用法

from transformers import pipeline

# Load the model
fill_mask = pipeline("fill-mask", model="metythorn/khmer-xlm-roberta-base")

# Example usage
result = fill_mask("ខ្ញុំចង់<mask>ភាសាខ្មែរ")
print(result)

高度な使用法

from transformers import AutoTokenizer, AutoModelForMaskedLM

# Load model and tokenizer
tokenizer = AutoTokenizer.from_pretrained("metythorn/khmer-xlm-roberta-base")
model = AutoModelForMaskedLM.from_pretrained("metythorn/khmer-xlm-roberta-base")

# Example usage
text = "ខ្ញុំចង់<mask>ភាសាខ្មែរ"
inputs = tokenizer(text, return_tensors="pt")

# Get predictions for masked token
outputs = model(**inputs)
predictions = outputs.logits
print("Model loaded successfully!")

📚 ドキュメント

モデルの詳細

訓練の詳細

• 訓練例: 約8400万件の例（約8.2GB）
• エポック: 3
• バッチサイズ: 8 (DataParallel使用)
• 勾配累積: 1
• 総最適化ステップ: 1,122,978
• 学習率: ~2e - 5 (スケジューラ付き)
• ハードウェアと訓練時間: 4GPUで2日間の訓練

訓練指標

• 最終訓練損失: 1.5163
• 最終学習率: 6.61e - 06
• 最終勾配ノルム: 2.9005
• 訓練エポック: 66.94

評価

from transformers import pipeline
import numpy as np

# Load model
fill_mask = pipeline("fill-mask", model="metythorn/khmer-xlm-roberta-base")

# Test examples
test_sentences = [
    "ប្រទេសកម្ពុជាមាន<mask>ខេត្ត",
    "រាជធានីភ្នំពេញគឺជ<mask>របស់ប្រទេសកម្ពុជា",
    "ខ្ញុំចង់<mask>សៀវភៅ"
]

for sentence in test_sentences:
    result = fill_mask(sentence)
    print(f"Input: {sentence}")
    print(f"Top prediction: {result[0]['token_str']}")
    print("---")

🔧 技術詳細

このセクションでは具体的な技術説明が50文字以上提供されていないため、スキップします。

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。

引用

もしあなたの研究でこのモデルを使用する場合は、以下を引用してください。

@misc{xlm-roberta-khmer,
  title={XLM-RoBERTa Khmer Masked Language Model},
  author={Your Name},
  year={2025},
  url={https://huggingface.co/metythorn/khmer-xlm-roberta-base}
}