35b Beta Long

🚀 35b-beta-long

本版本 CausalLM/35b-beta-long 凝聚了我們在微調大語言模型方面的經驗以及積累的訓練數據。我們將這些權重開源，以推動開源社區的發展。

🚀 快速開始

本版本 CausalLM/35b-beta-long 是我們在微調大語言模型領域經驗與訓練數據的集大成之作。我們開源這些權重，旨在促進開源社區的發展。

✨ 主要特性

• 優質基礎模型：我們選用了 Cohere 具有 350 億參數、支持長上下文的 [CohereForAI/c4ai-command-r-v01] MHA 多語言模型作為基礎。在評估中發現，它在監督微調（SFT）過程中對訓練數據質量的響應最為出色，表現優於其他開源大語言模型。儘管其初始的 SFT/RL 側重於特定任務，且採用非商業許可協議，但我們認為它目前是個人和內部使用場景的最佳基礎。
• 豐富數據合成：利用網絡爬取的大量事實內容，我們合成了超過 3000 萬條多輪對話數據，這些數據基於多個網頁或文檔，並經過大量人工監督和精心設計的數據管道，以確保高質量。模型在 128K 完整上下文中使用 BF16 精度進行訓練。此外，我們還引入了廣泛使用的開源對話數據集，以提升通用對話的流暢性。
• 創新數據處理：我們的數據合成方法解決了典型大語言模型訓練語料庫中的關鍵侷限。大語言模型通常難以在段落或文檔級別提取主題摘要、關鍵信息或進行比較。因此，我們專注於在長上下文環境中使用多個文檔生成基於事實的數據。這包括藉助現有的最優大語言模型，並在人工指導下通過主題摘要、信息提取和源材料比較來合成信息。
• 顯著性能提升：這種方法在微調過程中顯著提升了模型性能。我們觀察到模型的幻覺現象減少，長上下文處理能力增強，數學、編碼和知識回憶等通用能力也有所提高。訓練過程同時納入了原始源材料和合成輸出，進一步強化了模型回憶和利用預訓練數據中抽象概念的能力。我們的分析表明，原始數據和合成數據的結合對於實現更平衡的性能表現至關重要。為了研究目的，我們還發布了中間檢查點和僅基於合成數據訓練的模型。
• 強大長上下文能力：與原始特定任務模型相比，我們進一步微調的模型在長上下文場景中展現出更強大的回憶能力，無需特定的文檔格式或提示工程。在可量化的基準測試中，該微調模型的表現與參數規模兩倍於它的模型相當。

🔧 技術細節

• 訓練數據：
  • JosephusCheung/GuanacoDataset
  • meta - math/MetaMathQA
  • jondurbin/airoboros - 3.1
  • WizardLM/WizardLM_evol_instruct_V2_196k
  • RyokoAI/ShareGPT52K
  • RyokoAI/Fandom23K
  • milashkaarshif/MoeGirlPedia_wikitext_raw_archive
  • wikipedia
  • wiki_lingua
  • garage - bAInd/Open - Platypus
  • LDJnr/Puffin
  • BAAI/COIG
  • TigerResearch/tigerbot - zhihu - zh - 10k
  • liwu/MNBVC
  • teknium/openhermes
  • CausalLM/Refined - Anime - Text
  • microsoft/orca - math - word - problems - 200k
  • m - a - p/CodeFeedback - Filtered - Instruction
• 上下文處理：模型在 128K 完整上下文中使用 BF16 精度進行訓練。
• 數據合成：利用網絡爬取的大量事實內容，合成超過 3000 萬條多輪對話數據，基於多個網頁或文檔，並經過大量人工監督和精心設計的數據管道。

📄 許可證

本項目採用 WTFPL 許可證。

⚠️ 重要提示

• 分詞器與 Cohere 不同，聊天模板為 ChatML。
• 壓力測試來源：https://github.com/LeonEricsson/llmcontext

由於該模型僅經過監督微調（SFT），可能仍存在偏差或生成不良內容。我們使用開源拒絕數據集實施了基本的安全措施，以減少與非法活動、不適宜內容和暴力相關的輸出。然而，要使模型與人類價值觀更緊密對齊，還需要進一步進行強化學習。