Sinhala Gpt2

🚀 僧伽羅語GPT2文本生成模型

本項目是一個基於僧伽羅語數據集訓練的小型GPT2模型，為僧伽羅語這一低資源語言提供了文本生成能力，可作為更多下游任務訓練的起點。

🚀 快速開始

本模型是在MC4僧伽羅語數據集上訓練的小型GPT2模型。由於僧伽羅語是低資源語言之一，目前訓練好的模型較少，因此該模型是開展更多下游任務訓練的理想起點。

✨ 主要特性

• 低資源語言適配：專門針對僧伽羅語這一低資源語言進行訓練。
• 文本生成能力：可用於生成僧伽羅語文本。

📦 安裝指南

文檔未提及安裝步驟，跳過該章節。

💻 使用示例

基礎用法

from transformers import pipeline
generator = pipeline('text-generation', model='keshan/sinhala-gpt2')
generator("මම", max_length=50, num_return_sequences=5)

高級用法

文檔未提及高級用法代碼示例，跳過該部分。

📚 詳細文檔

模型規格

訓練選用的模型為GPT2，具體規格如下：

1. 詞彙表大小（vocab_size）：50257
2. 嵌入維度（n_embd）：768
3. 注意力頭數（n_head）：12
4. 層數（n_layer）：12
5. 最大位置編碼數（n_positions）：1024

🔧 技術細節

文檔未提供具體的技術實現細節，跳過該章節。

📄 許可證

文檔未提及許可證信息，跳過該章節。