🚀 孟加拉语GPT - 2
孟加拉语GPT - 2演示项目,是Huggingface JAX/Flax活动的一部分。此外,还有一个在孟加拉语歌曲歌词上进行微调的模型。
🚀 快速开始
本项目是孟加拉语GPT - 2的演示,参与了Huggingface JAX/Flax活动,还提供了在孟加拉语歌曲歌词上微调的模型。可通过多种方式使用该模型进行文本生成。
✨ 主要特性
- 基于OpenAI GPT - 2架构,在孟加拉语语料库上进行预训练。
- 提供了在孟加拉语歌曲歌词上微调的模型。
- 代码全部开源,方便社区参与和改进。
📚 详细文档
模型描述
OpenAI GPT - 2模型在论文Language Models are Unsupervised Multitask Learners中被提出。原始的GPT2模型是一个因果(单向)变换器,通过在约40GB的大型文本语料库上进行语言建模预训练得到。此模型具有相同的配置,但在mC4(多语言C4)数据集的孟加拉语语料库上进行了预训练。模型训练的代码已全部在此处开源。
训练细节
- 整体结果:
Eval loss : 1.45, Eval Perplexity : 3.141
- 数据:mC4 - bn
- 训练步骤:250k步
- 链接:flax - community/gpt2 - bengali
- 演示:https://huggingface.co/spaces/flax-community/Gpt2 - bengali
💻 使用示例
基础用法
from transformers import pipeline
gpt2_bengali = pipeline('text-generation',model="flax-community/gpt2-bengali", tokenizer='flax-community/gpt2-bengali')
高级用法
from transformers import pipeline
singer = pipeline('text-generation',model="khalidsaifullaah/bengali-lyricist-gpt2", tokenizer='khalidsaifullaah/bengali-lyricist-gpt2')
若要将模型用于其他任务,需要在自定义数据集上进行微调,详细信息可在Huggingface 文档中找到。
📄 许可证
本项目采用MIT许可证。
👥 贡献者
- Khalid Saifullah
- Tasmiah Tahsin Mayeesha
- Ritobrata Ghosh
- Ibrahim Musa
- M Saiful Bari
BibTeX引用信息
@misc {flax_community_2023,
author = { {Flax Community} },
title = { gpt2-bengali (Revision cb8fff6) },
year = 2023,
url = { https://huggingface.co/flax-community/gpt2-bengali },
doi = { 10.57967/hf/0938 },
publisher = { Hugging Face }
}