Bengali Summarizer Mt5

🚀 ベンガル語要約MT5

このモデルは、MT5モデルをファインチューニングしたもので、ベンガル語のテキスト要約タスクに特化しています。

📚 ドキュメント

モデルの詳細

• 開発者:
  • Tashfiqul Islam
  • Tashin Mahmud Khan
  • Amir Hamja Marjan
  • Simul Hossain
• モデルの種類: ベンガル語テキスト要約
• 言語: ベンガル語 (bn)
• ライセンス: MITライセンス
• ファインチューニング元: google/mt5-base

モデル情報

• ウェブサイトリンク: BTSウェブサイト
• リポジトリリンク: Githubリポジトリ

用途

直接利用

このモデルは、ベンガル語のテキスト入力から簡潔な要約を生成するために設計されており、ニュース要約やコンテンツ集約などのアプリケーションに役立ちます。

下流利用

ユーザーは、このモデルをベンガル語のテキスト要約機能を必要とする大規模なシステムに統合することができます。

範囲外の利用

このモデルは、翻訳や感情分析などのテキスト要約以外のタスクには設計されていません。

バイアス、リスク、制限事項

このモデルは学習データでは良好な性能を発揮しますが、すべてのベンガル語テキストに対して完全に汎化するとは限りません。ユーザーは学習データに存在する潜在的なバイアスに注意し、十分な評価なしに重要なアプリケーションでこのモデルを使用しないようにする必要があります。

推奨事項

ユーザーは、特定のデータセットでモデルの性能を評価し、必要に応じてさらにファインチューニングすることを検討する必要があります。また、モデルの出力に意図しないバイアスやエラーがないか監視することも推奨されます。

💻 使用例

基本的な使用法

from transformers import MT5ForConditionalGeneration, MT5Tokenizer

model_name = "tashfiq61/bengali-summarizer-mt5"
tokenizer = MT5Tokenizer.from_pretrained(model_name)
model = MT5ForConditionalGeneration.from_pretrained(model_name)

def summarize(text):
    inputs = tokenizer.encode("summarize: " + text, return_tensors="pt", max_length=512, truncation=True)
    summary_ids = model.generate(inputs, max_length=150, min_length=40, length_penalty=2.0, num_beams=4, early_stopping=True)
    return tokenizer.decode(summary_ids[0], skip_special_tokens=True)

text = "Your Bengali text here."
print(summarize(text))

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

📚 引用

このモデルを使用する場合は、以下を引用してください。

@misc{islam2024bengalisummarizer,
  title={Bengali Summarizer MT5},
  author={Tashfiqul Islam},
  year={2024},
  publisher={Hugging Face},
  howpublished={\url{https://huggingface.co/tashfiq61/bengali-summarizer-mt5}}
}