Persian T5 Paraphraser

🚀 波斯語T5釋義模型

這是一個用於波斯語的釋義模型。它基於波斯語單語T5模型構建，能夠為波斯語文本提供釋義功能。

🚀 快速開始

安裝依賴

首先，你需要安裝transformers庫：

>>> pip install transformers

代碼示例

以下是使用該模型進行釋義的代碼示例：

>>> from transformers import (T5ForConditionalGeneration, AutoTokenizer, pipeline)
>>> import torch

model_path = 'erfan226/persian-t5-paraphraser'
model = T5ForConditionalGeneration.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path)
pipe = pipeline(task='text2text-generation', model=model, tokenizer=tokenizer)

def paraphrase(text):
  for j in range(5):
    out = pipe(text, encoder_no_repeat_ngram_size=5, do_sample=True, num_beams=5, max_length=128)[0]['generated_text']
    print("Paraphrase:", out)

text = "این یک مقالهٔ خرد آلمان است. می‌توانید با گسترش آن به ویکی‌پدیا کمک کنید."
print("Original:", text)
paraphrase(text)

# Original: این یک مقالهٔ خرد آلمان است. می‌توانید با گسترش آن به ویکی‌پدیا کمک کنید.
# Paraphrase: این یک مقالهٔ کوچک است.
# Paraphrase: این یک مقالهٔ کوچک است.
# Paraphrase: شما می توانید با گسترش این مقاله، به کسب و کار خود کمک کنید.
# Paraphrase: می توانید با گسترش این مقالهٔ خرد آلمان کمک کنید.
# Paraphrase: شما می توانید با گسترش این مقالهٔ خرد، به گسترش آن کمک کنید.

📦 訓練數據

該模型在Tapaco數據集的波斯語子集上進行訓練。需要注意的是，此模型在一個非常小的數據集上進行訓練，因此目前性能可能達不到預期。

⚠️ 重要提示

該模型在一個非常小的數據集上進行訓練，因此目前性能可能達不到預期。

💡 使用建議

你可以根據實際需求調整代碼中的參數，如encoder_no_repeat_ngram_size、do_sample、num_beams和max_length等，以獲得更好的釋義效果。