Gpt2 Base Thai

🚀 GPT-2 泰語基礎模型

GPT-2 泰語基礎模型是一個基於 OpenAI GPT-2 的因果語言模型。它在 OSCAR 數據集的 unshuffled_deduplicated_th 子集中進行從頭訓練，最終評估損失為 1.708，評估困惑度為 5.516。

該模型使用 HuggingFace 的 Flax 框架進行訓練，是由 HuggingFace 組織的 JAX/Flax 社區周 的一部分。所有訓練工作都在由谷歌雲團隊贊助的 TPUv3 - 8 虛擬機上完成。

訓練所需的所有腳本可以在 文件和版本 標籤中找到，訓練指標也通過 Tensorboard 記錄在 訓練指標 中。

✨ 主要特性

• 基於 OpenAI GPT - 2 架構，適用於泰語語言處理任務。
• 利用 OSCAR 數據集的泰語子集進行從頭訓練。
• 使用 HuggingFace 的 Flax 框架，支持 JAX/Flax 生態。

📚 詳細文檔

模型信息

評估結果

該模型訓練了 3 個輪次，訓練結束後的最終結果如下：

💻 使用示例

基礎用法（作為因果語言模型）

from transformers import pipeline

pretrained_name = "flax-community/gpt2-base-thai"

nlp = pipeline(
    "text-generation",
    model=pretrained_name,
    tokenizer=pretrained_name
)

nlp("สวัสดีตอนเช้า")

高級用法（在 PyTorch 中進行特徵提取）

from transformers import GPT2Model, GPT2TokenizerFast

pretrained_name = "flax-community/gpt2-base-thai"
model = GPT2Model.from_pretrained(pretrained_name)
tokenizer = GPT2TokenizerFast.from_pretrained(pretrained_name)

prompt = "สวัสดีตอนเช้า"
encoded_input = tokenizer(prompt, return_tensors='pt')
output = model(**encoded_input)

📄 許可證

本項目採用 MIT 許可證。

團隊成員

• Sakares Saengkaew (@sakares)
• Wilson Wongso (@w11wo)