Faseehgpt

🚀 FaseehGPT模型卡片

FaseehGPT是一款專為阿拉伯語文本處理設計的GPT風格語言模型。它基於阿拉伯語數據集的子集進行訓練，能夠生成連貫且與上下文相關的文本。該模型採用預訓練的阿拉伯語分詞器（asafaya/bert-base-arabic），並針對Google Colab（免費GPU）等資源受限的環境進行了優化。

📚 詳細文檔

💡 模型詳情

🔧 模型架構

• 架構：具有多頭自注意力和前饋層的僅解碼器Transformer
• 參數：
  • 詞彙表大小：約32,000（來自asafaya/bert-base-arabic分詞器）
  • 嵌入維度：512
  • 層數：12
  • 注意力頭數量：8
  • 前饋維度：2048
  • 總參數：約7070萬
• 配置：
  • 最大序列長度：512
  • 丟棄率：0.1
  • 激活函數：GELU
• 權重初始化：正態分佈（均值 = 0，標準差 = 0.02）
• 特殊功能：支持top-k和top-p採樣；輸入和輸出嵌入之間的權重綁定

📈 訓練詳情

數據集

訓練配置

💻 使用示例

基礎用法

from transformers import AutoModel, AutoTokenizer

# 加載模型和分詞器
model = AutoModel.from_pretrained("alphatechlogics/FaseehGPT", trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("alphatechlogics/FaseehGPT")

# 生成文本
prompt = "السلام عليكم"
input_ids = tokenizer(prompt, return_tensors="pt").input_ids
outputs = model.generate(input_ids, max_new_tokens=100, temperature=1.0, top_k=50, top_p=0.9)
generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(generated_text)

生成參數

📊 數據集描述

• 來源：Hugging Face Datasets
• 使用的數據集：
  • arbml/Arabic_News：涵蓋各種主題的新聞，使用正式阿拉伯語
  • arbml/Arabic_Literature：小說和詩歌，提供豐富的語言多樣性
• 總文本數：完整數據集有8,707,443篇；訓練使用了50,000篇
• 預處理：
  • 使用asafaya/bert-base-arabic進行分詞
  • 長文本分割成重疊的塊（stride = max_seq_len // 2）
  • 特殊令牌：<SOS>, <EOS>, <PAD>, <UNK>

🧐 評估

• 指標：交叉熵損失（訓練和驗證）
• 狀態：由於日誌記錄不完整，損失指標不可用
• 觀察結果：生成的樣本顯示部分學習效果；仍存在一些不連貫的情況
• 建議：
  • 從檢查點model_checkpoint_epoch_20.pt中提取損失
  • 未來訓練使用詳細日誌記錄
  • 添加評估指標：困惑度、BLEU
  • 嘗試較小的模型（例如，embed_dim=256, num_layers=6）以進行更快的Colab測試

⚠️ 侷限性

• 生成文本質量：連貫性不一致表明訓練不足
• 資源限制：由於Colab GPU限制，僅使用了小部分數據集
• 語言特異性：僅支持阿拉伯語；其他語言未測試
• 訓練時長：8.18小時對於完整數據集來說不足

🤔 倫理考慮

• 偏差：可能反映源數據中的文化或主題偏差
• 使用：用於研究/非商業用途；驗證輸出
• 隱私：數據集是公開的；遵守Hugging Face政策

🤝 如何貢獻

• 倉庫：alphatechlogics/FaseehGPT
• 問題反饋：通過問題跟蹤器報告錯誤或提出功能建議
• 訓練：在完整數據集或更好的硬件上繼續訓練
• 評估：添加用於計算BLEU、困惑度等的腳本

📄 許可證

本模型採用Apache 2.0許可證。

📚 引用

@misc{faseehgpt2025,
  title     = {FaseehGPT: An Arabic Language Model},
  author    = {Ahsan Umar, Rohma},
  year      = {2025},
  url       = {https://huggingface.co/alphatechlogics/FaseehGPT}
}