Tamil Summarization

🚀 泰米爾語摘要生成與英語-泰米爾語翻譯模型

本模型可用於泰米爾語摘要生成以及英語到泰米爾語的翻譯任務，藉助Hugging Face Transformers庫進行微調。本README將為你介紹該模型的使用方法和功能。

📚 詳細文檔

模型詳情

📦 安裝指南

你可以使用pip安裝所需的依賴項：

pip install transformers

💻 使用示例

基礎用法

# Load model directly
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("suriya7/Tamil-Summarization")
model = AutoModelForSeq2SeqLM.from_pretrained("suriya7/Tamil-Summarization")

# Example English-to-Tamil Translation:

input_text = "Be the change that you wish to see in the world."
input_ids = tokenizer.encode(input_text, return_tensors="pt").input_ids
outputs = model.generate(input_ids,max_length=128)
translated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
print("Translated Tamil Sentence:", translated_text)

# Example Tamil Summarization:

tamil_article = """இது குறித்து அவர் பிபிசி தமிழிடம் கூறுகையில், "இத்தீர்ப்பை மிகச் சிறந்த முற்போக்கான தீர்ப்பாக பார்க்கிறேன்.
அடிப்படை உரிமை என்ன என்பதை மிகவும் தீவிரமாக இத்தீர்ப்பு விளக்கியுள்ளது" என்றார்.
"இந்திய அரசியலமைப்பின் 21-ஆவது விதியை மிகவும் ஆழமாக நீதிமன்றம் விளக்கியுள்ளது என்றும்,
ஏற்கனவே இரு வேறு வழக்குகளில் தனி நபர் அந்தரங்கத்தை அடிப்படை உரிமை பாதுகாக்காது எனக் குறிப்பிட்ட தீர்ப்புகளைத் திருத்தி
அந்த உரிமையை தற்போது உச்ச நீதிமன்றம் பாதுகாத்துள்ளது" என்று என்.ராம் கூறினார்.
"ஆதார் பதிவு விவகாரத்தில் இந்த தீர்ப்பு நிச்சயமாக பிரதிபலிக்கும் என்று கூறும் அவர், ஆதார் முறையைத் திணிக்க முயற்சிக்கும்
மத்திய அரசின் எண்ணம் இனி கடினமாக இருக்கும்" என்றார். "நெருக்கடி காலத்தில் நீதிபதி எச்.ஆர். கன்னா அளித்த தீர்ப்பு ஏற்படுத்திய
மாற்றத்தைப் போல இந்தத் தீர்ப்பும் சமூகத்தில் மாற்றத்தை ஏற்படுத்தலாம் என்று சிலர் கருதுவதாகவும்,மொத்தத்தில் இது ஒரு முக்கியத்துவம் நிறைந்த தீர்ப்பாகும்"
என்றும் என்.ராம் தெரிவித்தார். பிற செய்திகள் : சமூக ஊடகங்களில் பிபிசி தமிழ்"""

tamil_input_ids = tokenizer.encode(tamil_article, return_tensors="pt",truncation=True).input_ids
summary_ids = model.generate(tamil_input_ids, max_length=128)
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
print("Summarized Tamil Text:", summary)

高級用法

# 如果你想在自己的數據集上微調模型，可以按照以下步驟準備數據：
# 對於摘要生成任務，使用前綴 "summarize: "
# 對於翻譯任務，默認無需前綴，可直接對輸入和輸出進行分詞

# 示例代碼可根據具體微調需求進一步編寫和調整

模型輸出

• 翻譯任務：模型將輸出泰米爾語的翻譯文本。
• 摘要生成任務：模型將輸出泰米爾語文本的摘要。

微調說明

如果你想在自己的數據集上對模型進行微調，可以按照以下步驟準備數據：

• 對於摘要生成任務，使用前綴 "summarize: "
• 對於翻譯任務，默認無需前綴，可直接對輸入進行分詞，並使用目標文本對輸出進行分詞。

模型性能

📄 許可證

本項目採用Apache-2.0許可證。