Mt5 Summarize Nepali

🚀 mt5-summarize-nepali

このモデルは、google/mt5-small を Someman/news_nepali でファインチューニングしたバージョンです。評価セットでは、以下の結果を達成しています。

• 損失: 0.6748

🚀 クイックスタート

このモデルの基本的な使い方を以下に示します。

基本的な使用法

>>> import torch

>>> from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

# Predict with test data (first 5 rows)
>>> model_ckpt = "GenzNepal/mt5-summarize-nepali"

>>> device = "cuda" if torch.cuda.is_available() else "cpu"

>>> t5_tokenizer = AutoTokenizer.from_pretrained(model_ckpt)

>>> model = AutoModelForSeq2SeqLM.from_pretrained(model_ckpt).to(device)


>>> text = "काठमाडौँ । हाल देशको पूर्वी तथा मध्य भू–भागमा मनसुनी प्रणालीको प्रभाव रहेको छ भने बाँकी भू–भागमा स्थानीय वायु र पश्चिमी वायुको आंशिक प्रभाव रहेको छ । यसका कारण हाल गण्डकी प्रदेशका थोरै स्थानमा र कर्णाली प्रदेशका एक–दुई स्थानमा मेघगर्जनरचट्याङसहित हल्कादेखि मध्यम वर्षा भइरहेको जल तथा मौसम विज्ञान विभाग, मौसम पूर्वानुमान महाशाखाले जनाएको छ । \
महाशाखका मौमसविद् रोजल लामिछानेका अनुसार पछिल्लो तीन घन्टामा गण्डकी प्रदेशका थोरै स्थान, बागमती प्रदेशका एक–दुई स्थानमा हल्कादेखि मध्यम वर्षा भइरहेको छ । काठमाडौँ उपत्यकासहित बागमती प्रदेशमा रातिको समयमा वर्षाको सम्भावना रहेको छ । यस्तै कोशी प्रदेश, मधेश प्रदेश र देशका पहाडी भू–भागमा बदली रहनुका साथै हल्का वर्षाको सम्भावना रहेको महाशाखाले उल्लेख गरेको छ । \
मौसमविद् लामिछानेले मनसुन प्रणाली क्रमिकरूपमा देशभर फैलिने क्रममा रहेको र यो देशभर विस्तार हुन अझै एक साता लाग्ने बताए । गत जेठ ३१ गते बुधबार नेपालको पूर्वी भेग भएर मनसुन प्रणाली भित्रिएको थियो । मनसुन सुस्तगतिमा रहेकाले देशको पश्चिम क्षेत्रमा फैलिन केही दिन लाग्ने जनाइएको छ ।"

>>> inputs = t5_tokenizer(text, return_tensors="pt", max_length=1024, padding= "max_length", truncation=True, add_special_tokens=True)

>>> generation = model.generate(
      input_ids = inputs['input_ids'].to(device),
      attention_mask=inputs['attention_mask'].to(device),
      num_beams=6,
      num_return_sequences=1,
      no_repeat_ngram_size=2,
      repetition_penalty=1.0,
      min_length=100,
      max_length=250,
      length_penalty=2.0,
      early_stopping=True
    )
    # # Convert id tokens to text

>>> output = t5_tokenizer.decode(generation[0], skip_special_tokens=True, clean_up_tokenization_spaces=True)


>>> print(output)

"हाल देशको पूर्वी तथा मध्य भू–भागमा मनसुनी प्रणालीको प्रभाव रहेको छ । बाँकी भूभागहरूमा स्थानीय वायु र पश्चिमी वायुको आंशिक सङ्क्रमण छ। गत वैशाख ३१ गते बुधबार नेपालको भेग भएर मनसुन प्रणाली भित्रिएको थियो भने हल्कादेखि मध्यम वर्षा भइरहेको जनाइएको छ भने मौसमविद् लामिछानेले उल्लेख गरेका छन् भने यो देशभर विस्तार हुन अझै एक साता लाग्नेछ।
"

📚 ドキュメント

トレーニングハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 0.0005
• トレーニングバッチサイズ: 2
• 評価バッチサイズ: 1
• シード: 42
• 勾配蓄積ステップ: 8
• 総トレーニングバッチサイズ: 16
• オプティマイザ: Adam（ベータ=(0.9,0.999)、イプシロン=1e-08）
• 学習率スケジューラタイプ: 線形
• 学習率スケジューラウォームアップステップ: 90
• エポック数: 10

トレーニング結果

フレームワークバージョン

• Transformers 4.30.1
• Pytorch 2.0.0
• Datasets 2.1.0
• Tokenizers 0.13.3

📄 ライセンス

このモデルは Apache-2.0 ライセンスの下で提供されています。