Gpt 2 Tamil

🚀 GPT2 - 泰米爾語

本倉庫是Huggingface組織的Flax/Jax社區周活動的一部分。該項目旨在使用GPT - 2專門為泰米爾語預訓練一個語言模型。

🚀 快速開始

項目設置

要設置該項目，請運行以下命令：

pip install -r requirements.txt

✨ 主要特性

使用因果語言建模（CLM）目標對泰米爾語進行預訓練的模型。

📦 安裝指南

模型預訓練設置

若要進行模型預訓練，請按以下步驟操作：

• 導出模型目錄（用於存儲模型配置、分詞器等文件）：

>>> export MODEL_DIR=<model_dir>

• 運行以下命令創建config.json：

>>> python src/create_config.py

• 運行以下命令創建分詞器：

>>> python src/train_tokenizer.py

• 配置和分詞器創建完成後，運行以下腳本開始訓練Flax模型：

>>> python scripts/train_gpt2-oscar-tamil.sh

模型使用設置

若要使用該模型進行語言生成，可直接使用管道。

• 首先，使用以下命令將Flax模型轉換為PyTorch模型：

python src/convert_flax_to_pytorch.py

💻 使用示例

基礎用法

使用以下代碼片段進行語言生成：

>>> from transformers import AutoTokenizer, AutoModelWithLMHead, pipeline
>>> model_name = 'abinayam/gpt-2-tamil'
>>> model = AutoModelWithLMHead.from_pretrained(model_name)
>>> tokenizer = AutoTokenizer.from_pretrained(model_name)
>>> set_seed(42)
>>> input_text = "ஒரு ஊரிலே ஒரு காக்கைக்கு"
>>> max_len = 300
>>> no_seq = 5
>>> generator = pipeline('text-generation', model=model, tokenizer=tokenizer)
>>> sequence = generator(input_text, max_length=max_len, num_return_sequences=no_seq)

📚 詳細文檔

模型信息

基於因果語言建模（CLM）目標對泰米爾語進行預訓練的模型。

數據集使用

GPT - 2模型在以下數據集上進行訓練：

• oscar數據集 - 泰米爾語
• IndicNLP數據集 - 泰米爾語

預期用途與限制

可以使用原始模型進行下一句預測，但該模型主要用於在下游任務上進行微調。可查看模型中心，查找針對你感興趣的任務進行微調後的版本。