Persian T5 Paraphraser

🚀 ペルシア語T5パラフレーズモデル

このモデルは、ペルシア語のパラフレーズ生成に特化したモデルです。ペルシア語単言語T5モデルをベースに構築されており、ペルシア語のテキストに対してパラフレーズを提供することができます。

🚀 クイックスタート

依存関係のインストール

まず、transformersライブラリをインストールする必要があります。

>>> pip install transformers

コード例

以下は、このモデルを使用してパラフレーズを生成するコード例です。

>>> from transformers import (T5ForConditionalGeneration, AutoTokenizer, pipeline)
>>> import torch

model_path = 'erfan226/persian-t5-paraphraser'
model = T5ForConditionalGeneration.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path)
pipe = pipeline(task='text2text-generation', model=model, tokenizer=tokenizer)

def paraphrase(text):
  for j in range(5):
    out = pipe(text, encoder_no_repeat_ngram_size=5, do_sample=True, num_beams=5, max_length=128)[0]['generated_text']
    print("Paraphrase:", out)

text = "این یک مقالهٔ خرد آلمان است. می‌توانید با گسترش آن به ویکی‌پدیا کمک کنید."
print("Original:", text)
paraphrase(text)

# Original: این یک مقالهٔ خرد آلمان است. می‌توانید با گسترش آن به ویکی‌پدیا کمک کنید.
# Paraphrase: این یک مقالهٔ کوچک است.
# Paraphrase: این یک مقالهٔ کوچک است.
# Paraphrase: شما می توانید با گسترش این مقاله، به کسب و کار خود کمک کنید.
# Paraphrase: می توانید با گسترش این مقالهٔ خرد آلمان کمک کنید.
# Paraphrase: شما می توانید با گسترش این مقالهٔ خرد، به گسترش آن کمک کنید.

📦 インストール

このモデルは、Tapacoデータセットのペルシア語サブセットで訓練されています。ただし、このモデルは非常に小さなデータセットで訓練されているため、現時点での性能は期待値に達しない可能性があります。

⚠️ 重要な注意事項

このモデルは非常に小さなデータセットで訓練されているため、現時点での性能は期待値に達しない可能性があります。

💡 使用上のヒント

実際のニーズに応じて、コード内のencoder_no_repeat_ngram_size、do_sample、num_beams、max_lengthなどのパラメータを調整することで、より良いパラフレーズ結果を得ることができます。