Tamil Summarization

🚀 タミル語要約と英語 - タミル語翻訳モデル

このリポジトリには、タミル語の要約と英語からタミル語への翻訳の両方に対応した微調整済みモデルが含まれています。このモデルはHugging Face Transformersライブラリを使用して微調整されました。このREADMEでは、モデルの使用方法と機能について説明します。

🚀 クイックスタート

📦 インストール

必要な依存関係をpipを使ってインストールすることができます。

pip install transformers

💻 使用例

基本的な使用法

以下は、要約と翻訳タスクの両方でモデルを使用する方法の例です。

# Load model directly
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("suriya7/Tamil-Summarization")
model = AutoModelForSeq2SeqLM.from_pretrained("suriya7/Tamil-Summarization")

# Example English-to-Tamil Translation:

input_text = "Be the change that you wish to see in the world."
input_ids = tokenizer.encode(input_text, return_tensors="pt").input_ids
outputs = model.generate(input_ids,max_length=128)
translated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
print("Translated Tamil Sentence:", translated_text)

# Example Tamil Summarization:

tamil_article = """இது குறித்து அவர் பிபிசி தமிழிடம் கூறுகையில், "இத்தீர்ப்பை மிகச் சிறந்த முற்போக்கான தீர்ப்பாக பார்க்கிறேன்.
அடிப்படை உரிமை என்ன என்பதை மிகவும் தீவிரமாக இத்தீர்ப்பு விளக்கியுள்ளது" என்றார்.
"இந்திய அரசியலமைப்பின் 21-ஆவது விதியை மிகவும் ஆழமாக நீதிமன்றம் விளக்கியுள்ளது என்றும்,
ஏற்கனவே இரு வேறு வழக்குகளில் தனி நபர் அந்தரங்கத்தை அடிப்படை உரிமை பாதுகாக்காது எனக் குறிப்பிட்ட தீர்ப்புகளைத் திருத்தி
அந்த உரிமையை தற்போது உச்ச நீதிமன்றம் பாதுகாத்துள்ளது" என்று என்.ராம் கூறினார்.
"ஆதார் பதிவு விவகாரத்தில் இந்த தீர்ப்பு நிச்சயமாக பிரதிபலிக்கும் என்று கூறும் அவர், ஆதார் முறையைத் திணிக்க முயற்சிக்கும்
மத்திய அரசின் எண்ணம் இனி கடினமாக இருக்கும்" என்றார். "நெருக்கடி காலத்தில் நீதிபதி எச்.ஆர். கன்னா அளித்த தீர்ப்பு ஏற்படுத்திய
மாற்றத்தைப் போல இந்தத் தீர்ப்பும் சமூகத்தில் மாற்றத்தை ஏற்படுத்தலாம் என்று சிலர் கருதுவதாகவும்,மொத்தத்தில் இது ஒரு முக்கியத்துவம் நிறைந்த தீர்ப்பாகும்"
என்றும் என்.ராம் தெரிவித்தார். பிற செய்திகள் : சமூக ஊடகங்களில் பிபிசி தமிழ்"""

tamil_input_ids = tokenizer.encode(tamil_article, return_tensors="pt",truncation=True).input_ids
summary_ids = model.generate(tamil_input_ids, max_length=128)
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
print("Summarized Tamil Text:", summary)

📚 ドキュメント

概要

このリポジトリには、タミル語要約と英語 - タミル語翻訳の両方に対応した微調整済みモデルが含まれています。モデルはHugging Face Transformersライブラリを使用して微調整されました。このREADMEでは、モデルの使用方法と機能について説明します。

モデルの詳細

モデルの出力

• 翻訳タスクでは、モデルはタミル語の翻訳テキストを出力します。
• 要約タスクでは、モデルは入力されたタミル語テキストの要約版を出力します。

微調整

独自のデータセットでモデルを微調整したい場合は、以下の手順に従ってください。 適切な形式でデータセットを準備します。

• 要約の場合は、接頭辞として "summarize: " を使用します。
• 翻訳の場合は、デフォルトで接頭辞は不要で、入力をトークン化し、出力をターゲットテキストを使用してトークン化することができます。

モデルのパフォーマンス

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。