42dot LLM SFT 1.3B

🚀 42dot_LLM-SFT-1.3B

42dot LLM-SFT 是由 42dot 開發的大型語言模型（LLM），經過訓練可以遵循自然語言指令。42dot LLM-SFT 是 42dot LLM 的一部分，通過監督微調（SFT）從 42dot LLM-PLM 派生而來。本倉庫包含一個 13 億參數版本的模型。

✨ 主要特性

• 基於與 LLaMA 2 類似的 Transformer 解碼器架構構建。
• 經過監督微調，能夠更好地遵循自然語言指令。
• 對模型的響應進行了多方面評估，並與其他專有/開源聊天機器人進行了對比。

📚 詳細文檔

模型描述

超參數

與 42dot LLM-PLM 相同，該模型基於類似於 LLaMA 2 的 Transformer 解碼器架構構建，其超參數如下：

(* 單位：詞元)

監督微調

微調大約花費了 112 個 GPU 小時（使用 NVIDIA A100）。對於訓練數據集，我們手動構建了（問題或指令）與響應的配對，這些配對可以是單輪或多輪的。

評估

受 Vicuna 等近期嘗試的啟發，我們使用 GPT - 4 對 42dot LLM-SFT 與其他專有/開源聊天機器人進行評估，以評估響應的各個方面。評估數據集由 10 個類別共 121 個提示組成。評估數據集的樣本和提示模板可以從我們的 GitHub 倉庫 下載。

• 基線模型：
  • ChatGPT（使用 GPT - 3.5 - turbo 和 GPT - 4）
  • Bard
  • KORani - v2 - 13B

侷限性和倫理考量

42dot LLM - SFT 存在一些其他大型語言模型常見的侷限性。例如，由於它也會受到 幻覺現象 的影響，可能會生成虛假和誤導性的內容。此外，由於在預訓練階段使用了網絡可用的訓練數據，它可能會生成有毒、有害和有偏見的內容。我們強烈建議 42dot LLM - SFT 的用戶瞭解這些侷限性，並採取必要的措施來減輕這些問題。

免責聲明

42dot LLM 系列（“42dot LLM”）生成的內容不一定反映 42dot 公司（“42dot”）的觀點或意見。42dot 對因使用 42dot LLM 及其生成的內容而產生的任何直接、間接、暗示、懲罰性、特殊、偶然或其他後果性損害不承擔任何責任。

📄 許可證

42dot LLM - SFT 採用知識共享署名 - 非商業性使用 4.0 國際許可協議（CC BY - NC 4.0）。

📚 引用

@misc{42dot2023llm,
      title={42dot LLM: A Series of Large Language Model by 42dot},
      author={42dot Inc.},
      year={2023},
      url = {https://github.com/42dot/42dot_LLM},
      version = {1.0.0},
}