35b Beta Long

🚀 35b-beta-long

本版本 CausalLM/35b-beta-long 凝聚了我们在微调大语言模型方面的经验以及积累的训练数据。我们将这些权重开源，以推动开源社区的发展。

🚀 快速开始

本版本 CausalLM/35b-beta-long 是我们在微调大语言模型领域经验与训练数据的集大成之作。我们开源这些权重，旨在促进开源社区的发展。

✨ 主要特性

• 优质基础模型：我们选用了 Cohere 具有 350 亿参数、支持长上下文的 [CohereForAI/c4ai-command-r-v01] MHA 多语言模型作为基础。在评估中发现，它在监督微调（SFT）过程中对训练数据质量的响应最为出色，表现优于其他开源大语言模型。尽管其初始的 SFT/RL 侧重于特定任务，且采用非商业许可协议，但我们认为它目前是个人和内部使用场景的最佳基础。
• 丰富数据合成：利用网络爬取的大量事实内容，我们合成了超过 3000 万条多轮对话数据，这些数据基于多个网页或文档，并经过大量人工监督和精心设计的数据管道，以确保高质量。模型在 128K 完整上下文中使用 BF16 精度进行训练。此外，我们还引入了广泛使用的开源对话数据集，以提升通用对话的流畅性。
• 创新数据处理：我们的数据合成方法解决了典型大语言模型训练语料库中的关键局限。大语言模型通常难以在段落或文档级别提取主题摘要、关键信息或进行比较。因此，我们专注于在长上下文环境中使用多个文档生成基于事实的数据。这包括借助现有的最优大语言模型，并在人工指导下通过主题摘要、信息提取和源材料比较来合成信息。
• 显著性能提升：这种方法在微调过程中显著提升了模型性能。我们观察到模型的幻觉现象减少，长上下文处理能力增强，数学、编码和知识回忆等通用能力也有所提高。训练过程同时纳入了原始源材料和合成输出，进一步强化了模型回忆和利用预训练数据中抽象概念的能力。我们的分析表明，原始数据和合成数据的结合对于实现更平衡的性能表现至关重要。为了研究目的，我们还发布了中间检查点和仅基于合成数据训练的模型。
• 强大长上下文能力：与原始特定任务模型相比，我们进一步微调的模型在长上下文场景中展现出更强大的回忆能力，无需特定的文档格式或提示工程。在可量化的基准测试中，该微调模型的表现与参数规模两倍于它的模型相当。

🔧 技术细节

• 训练数据：
  • JosephusCheung/GuanacoDataset
  • meta - math/MetaMathQA
  • jondurbin/airoboros - 3.1
  • WizardLM/WizardLM_evol_instruct_V2_196k
  • RyokoAI/ShareGPT52K
  • RyokoAI/Fandom23K
  • milashkaarshif/MoeGirlPedia_wikitext_raw_archive
  • wikipedia
  • wiki_lingua
  • garage - bAInd/Open - Platypus
  • LDJnr/Puffin
  • BAAI/COIG
  • TigerResearch/tigerbot - zhihu - zh - 10k
  • liwu/MNBVC
  • teknium/openhermes
  • CausalLM/Refined - Anime - Text
  • microsoft/orca - math - word - problems - 200k
  • m - a - p/CodeFeedback - Filtered - Instruction
• 上下文处理：模型在 128K 完整上下文中使用 BF16 精度进行训练。
• 数据合成：利用网络爬取的大量事实内容，合成超过 3000 万条多轮对话数据，基于多个网页或文档，并经过大量人工监督和精心设计的数据管道。

📄 许可证

本项目采用 WTFPL 许可证。

⚠️ 重要提示

• 分词器与 Cohere 不同，聊天模板为 ChatML。
• 压力测试来源：https://github.com/LeonEricsson/llmcontext

由于该模型仅经过监督微调（SFT），可能仍存在偏差或生成不良内容。我们使用开源拒绝数据集实施了基本的安全措施，以减少与非法活动、不适宜内容和暴力相关的输出。然而，要使模型与人类价值观更紧密对齐，还需要进一步进行强化学习。