Gpt 2 Tamil

🚀 GPT2-Tamil

このリポジトリは、HuggingfaceによるFlax/Jaxコミュニティウィークの一環として作成されました。このプロジェクトの目的は、GPT - 2を使用してタミル語用の言語モデルを事前学習することです。

🚀 クイックスタート

このプロジェクトをセットアップするには、次のコマンドを実行します。

pip install -r requirements.txt

✨ 主な機能

タミル語で因果言語モデリング（CLM）の目的で事前学習されたモデルです。

📦 インストール

モデルの事前学習方法

学習を行うには、次の手順を実行します。

• モデルディレクトリ（configやtokenizerなどのモデルアーティファクトを保存する場所）をエクスポートします。

>>> export MODEL_DIR=<model_dir>

• 次のコマンドを実行してconfig.jsonを作成します。

>>> python src/create_config.py

• 次のコマンドを実行してトークナイザーを作成します。

>>> python src/train_tokenizer.py

• configとトークナイザーが作成されたら、次のスクリプトを実行してflaxモデルの学習を開始します。

>>> python scripts/train_gpt2-oscar-tamil.sh

💻 使用例

基本的な使用法

モデルを使用して言語生成を行うには、パイプラインを直接使用できます。

• まず、次のコマンドを使用してflaxモデルをpytorchに変換します。

python src/convert_flax_to_pytorch.py

• 言語生成を行うには、次のコードスニペットを使用します。

 >>> from transformers import AutoTokenizer, AutoModelWithLMHead, pipeline
 >>> model_name = 'abinayam/gpt-2-tamil'
 >>> model = AutoModelWithLMHead.from_pretrained(model_name)
 >>> tokenizer = AutoTokenizer.from_pretrained(model_name)
 >>> set_seed(42)
 >>> input_text = "ஒரு ஊரிலே ஒரு காக்கைக்கு"
 >>> max_len = 300
 >>> no_seq = 5
 >>> generator = pipeline('text-generation', model=model, tokenizer=tokenizer)
 >>> sequence = generator(input_text, max_length=max_len, num_return_sequences=no_seq)

📚 ドキュメント

データセットの使用

GPT - 2モデルは、oscarデータセット - taとIndicNLPデータセット - taで学習されています。

想定される用途と制限

生のモデルを次の文の予測に使用することもできますが、主に下流タスクで微調整することを想定しています。興味のあるタスクで微調整されたバージョンを探すには、モデルハブを参照してください。

📄 ライセンス

原文書にライセンス情報が記載されていないため、このセクションは省略されています。