Gpt2 Base Thai

🚀 GPT-2 泰语基础模型

GPT-2 泰语基础模型是一个基于 OpenAI GPT-2 的因果语言模型。它在 OSCAR 数据集的 unshuffled_deduplicated_th 子集中进行从头训练，最终评估损失为 1.708，评估困惑度为 5.516。

该模型使用 HuggingFace 的 Flax 框架进行训练，是由 HuggingFace 组织的 JAX/Flax 社区周 的一部分。所有训练工作都在由谷歌云团队赞助的 TPUv3 - 8 虚拟机上完成。

训练所需的所有脚本可以在 文件和版本 标签中找到，训练指标也通过 Tensorboard 记录在 训练指标 中。

✨ 主要特性

• 基于 OpenAI GPT - 2 架构，适用于泰语语言处理任务。
• 利用 OSCAR 数据集的泰语子集进行从头训练。
• 使用 HuggingFace 的 Flax 框架，支持 JAX/Flax 生态。

📚 详细文档

模型信息

评估结果

该模型训练了 3 个轮次，训练结束后的最终结果如下：

💻 使用示例

基础用法（作为因果语言模型）

from transformers import pipeline

pretrained_name = "flax-community/gpt2-base-thai"

nlp = pipeline(
    "text-generation",
    model=pretrained_name,
    tokenizer=pretrained_name
)

nlp("สวัสดีตอนเช้า")

高级用法（在 PyTorch 中进行特征提取）

from transformers import GPT2Model, GPT2TokenizerFast

pretrained_name = "flax-community/gpt2-base-thai"
model = GPT2Model.from_pretrained(pretrained_name)
tokenizer = GPT2TokenizerFast.from_pretrained(pretrained_name)

prompt = "สวัสดีตอนเช้า"
encoded_input = tokenizer(prompt, return_tensors='pt')
output = model(**encoded_input)

📄 许可证

本项目采用 MIT 许可证。

团队成员

• Sakares Saengkaew (@sakares)
• Wilson Wongso (@w11wo)