Gpt2 Bengali

🚀 孟加拉語GPT - 2

孟加拉語GPT - 2演示項目，是Huggingface JAX/Flax活動的一部分。此外，還有一個在孟加拉語歌曲歌詞上進行微調的模型。

🚀 快速開始

本項目是孟加拉語GPT - 2的演示，參與了Huggingface JAX/Flax活動，還提供了在孟加拉語歌曲歌詞上微調的模型。可通過多種方式使用該模型進行文本生成。

✨ 主要特性

• 基於OpenAI GPT - 2架構，在孟加拉語語料庫上進行預訓練。
• 提供了在孟加拉語歌曲歌詞上微調的模型。
• 代碼全部開源，方便社區參與和改進。

📚 詳細文檔

模型描述

OpenAI GPT - 2模型在論文Language Models are Unsupervised Multitask Learners中被提出。原始的GPT2模型是一個因果（單向）變換器，通過在約40GB的大型文本語料庫上進行語言建模預訓練得到。此模型具有相同的配置，但在mC4（多語言C4）數據集的孟加拉語語料庫上進行了預訓練。模型訓練的代碼已全部在此處開源。

訓練細節

• 整體結果： Eval loss : 1.45, Eval Perplexity : 3.141
• 數據：mC4 - bn
• 訓練步驟：250k步
• 鏈接：flax - community/gpt2 - bengali
• 演示：https://huggingface.co/spaces/flax-community/Gpt2 - bengali

💻 使用示例

基礎用法

# 使用預訓練的孟加拉語GPT - 2模型進行文本生成
from transformers import pipeline

gpt2_bengali = pipeline('text-generation',model="flax-community/gpt2-bengali", tokenizer='flax-community/gpt2-bengali')

高級用法

# 使用在孟加拉語歌曲歌詞上微調的模型進行文本生成
from transformers import pipeline

singer = pipeline('text-generation',model="khalidsaifullaah/bengali-lyricist-gpt2", tokenizer='khalidsaifullaah/bengali-lyricist-gpt2')

若要將模型用於其他任務，需要在自定義數據集上進行微調，詳細信息可在Huggingface 文檔中找到。

📄 許可證

本項目採用MIT許可證。

👥 貢獻者

• Khalid Saifullah
• Tasmiah Tahsin Mayeesha
• Ritobrata Ghosh
• Ibrahim Musa
• M Saiful Bari

BibTeX引用信息

@misc {flax_community_2023,
author       = { {Flax Community} },
title        = { gpt2-bengali (Revision cb8fff6) },
year         = 2023,
url          = { https://huggingface.co/flax-community/gpt2-bengali },
doi          = { 10.57967/hf/0938 },
publisher    = { Hugging Face }
}