GPT Kalki

🚀 GPT2-Kalki

GPT2-Kalkiは、ウィキペディアのタミル語データコーパスでファインチューニングされたGPT - 2トランスフォーマーモデルです。特に、1900年代のタミル語作家であるカルキ・クリシュナムルティの作品を対象にファインチューニングされています。このモデルは、彼の小説の登場人物を使った「もし～だったら」というシナリオの実験です。現在公開されている有名な映画『ポンニン・セルヴァン - I』も、同じ作者による小説をもとにしています。このモデルは、[GPT2 - Tamil](https://huggingface.co/abinayam/gpt - 2 - tamil)のタミル語データセットですでに学習されたモデルをベースに学習されています。

✨ 主な機能

GPT2-Kalkiモデルは、タミル語のテキスト生成に使用できます。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

>>> from transformers import AutoTokenizer, AutoModelWithLMHead, pipeline
>>> tokenizer = AutoTokenizer.from_pretrained('tsaditya/GPT-Kalki')
>>> model = AutoModelWithLMHead.from_pretrained('tsaditya/GPT-Kalki')
>>> text = "ஆதித்த கரிகாலர் தஞ்சைக்குச் செல்ல உடனடியாக ஒப்புக்கொண்டார். "
>>> encoded_text = tokenizer.encode(text, return_tensors='tf')
>>> beam_output = model.generate(
    encoded_text,
    do_sample=True, 
    max_length=512, 
    top_k=50, 
    top_p=0.95, 
    num_return_sequences=1,
    no_repeat_ngram_size = 3,
    temperature = 0.7
    )
>>> print(tokenizer.decode(beam_output[0], skip_special_tokens=True))

📚 ドキュメント

使用データセット

GPT - 2モデルは、oscarデータセット - ta、IndicNLPデータセット - ta、および手動で収集したウィキペディアの物語や小説を含むデータセットで学習されています。収集したデータセットは近日公開予定です。