Gpt Neo 125M Code Clippy Dedup 2048

🚀 gpt-neo-125M-code-clippy-dedup-2048模型卡片

本模型專為文本生成任務而設計，由Flax社區開發，Hugging Face參與分享。它基於GPT - Neo架構，在代碼生成等文本生成場景中具有一定的應用價值。

🚀 快速開始

使用以下代碼即可開始使用該模型：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("flax-community/gpt-neo-125M-code-clippy-dedup-2048")

model = AutoModelForCausalLM.from_pretrained("flax-community/gpt-neo-125M-code-clippy-dedup-2048")

✨ 主要特性

• 文本生成能力：該模型可用於文本生成任務。

📚 詳細文檔

模型詳情

• 開發者：Flax社區
• 分享者：Hugging Face
• 模型類型：文本生成
• 相關模型：父模型為GPT - Neo
• 更多信息資源：GitHub倉庫

用途

直接使用

該模型可用於文本生成任務。

適用範圍外的使用

模型不應被用於故意為人們創造敵對或排斥的環境。

偏差、風險和侷限性

大量研究已經探討了語言模型的偏差和公平性問題（例如，參見 Sheng等人 (2021) 和 Bender等人 (2021)）。模型生成的預測可能包含針對受保護類別、身份特徵以及敏感、社會和職業群體的令人不安和有害的刻板印象。

建議

模型創建者在 GitHub倉庫 中指出：

問題：數據集中的錯誤文件名 我們最近發現了一個在數據集爬取過程中出現的錯誤。我們發現文件名已經過時或具有誤導性。[參考此 問題] 感謝Naman指出這個問題。 這可能有兩個影響： - 由於訓練數據集的過濾是使用文件擴展名完成的，我們在訓練時數據集中可能存在錯誤的數據點，並且可能遺漏了很多屬於所選語言的正確數據點。

訓練詳情

訓練數據

模型創建者在 GitHub倉庫 中指出：

為了在CodeClippy數據集上微調GPTNeo - 125M，我們使用了AdamW優化器（beta1 = 0.9，beta2 = 0.95），採用類似GPT3的學習率調度（從0到5e - 5的4k熱身步驟，然後是50k的餘弦衰減步驟到5e - 6），權重衰減為0.1，批量大小為1024，序列長度為2048。

訓練過程

速度、大小、時間

模型創建者在 GitHub倉庫 中指出：

為了在CodeClippy數據集上微調GPTNeo - 125M，我們使用了AdamW優化器（beta1 = 0.9，beta2 = 0.95），採用類似GPT3的學習率調度（從0到5e - 5的4k熱身步驟，然後是50k的餘弦衰減步驟到5e - 6），權重衰減為0.1，批量大小為1024，序列長度為2048。選擇相對較大的批量大小和低學習率以及長時間的熱身是為了避免激進的更新，並保留預訓練的GPTNeo權重中包含的知識。

評估

測試數據、因素和指標

測試數據

模型創建者在 GitHub倉庫 中指出：

模型還在 APPS 和 HumanEval 數據集上進行了評估。

結果

技術規格

模型架構和目標

GPTNeoForCausalLM

模型卡片作者

Flax社區與Ezi Ozoani以及Hugging Face團隊合作完成。