Discolm 70b

🚀 DiscoLM 70b

DiscoLM 70b 是一個基於 Laion的LeoLM 70b 的700億參數模型。該模型針對650億個德語文本標記進行了額外的持續預訓練，在保留（並部分提升）英語能力的同時，增強了其多語言能力。隨後，它在一些最流行的開源指令集組合上進行了進一步微調。DiscoLM 70b 是 DiscoResearch 的一個項目，由 Björn Plüster 訓練。

非常感謝 LAION 和 HessianAI 為該項目提供科學監督、協調以及由 HessianAI 在超級計算機42上提供的計算資源！

🚀 快速開始

你可以通過以下不同格式下載 DiscoLM 70b 模型：

✨ 主要特性

• 多語言能力：經過額外的德語文本預訓練，在保留英語能力的同時，增強了多語言處理能力。
• 微調優化：在流行的開源指令集上進行微調，提升了模型的性能。

📚 詳細文檔

🔍 基準測試

Hugginface排行榜

此模型仍處於早期Alpha階段，我們不能保證沒有任何數據汙染。以下是我們自己評估的分數：

該模型目前在Open LLM排行榜上總體排名第6，是基於Llama-2-70b的第二強模型（僅次於TigerBot 70b）： （2023年12月5日截圖）

我們使用 Language Model Evaluation Harness 來運行上述基準測試，使用的版本與HuggingFace LLM排行榜相同。

FastEval

當前（遺憾的是不再維護）FastEval CoT排行榜截圖：

MTBench

{
    "first_turn": 7.9,
    "second_turn": 7.0625,
    "categories": {
        "writing": 9.55,
        "roleplay": 8.35,
        "reasoning": 6.15,
        "math": 4.7,
        "coding": 4.8,
        "extraction": 7.35,
        "stem": 9.1,
        "humanities": 9.85
    },
    "average": 7.48125
}

當前FastEval MT Bench排行榜截圖：

💬 提示格式

該模型遵循ChatML格式：

<|im_start|>system
You are DiscoLM, a helpful assistant.
<|im_end|>
<|im_start|>user
Please tell me possible reasons to call a research collective "Disco Research"<|im_end|>
<|im_start|>assistant

這種格式也可以通過預定義的Transformers聊天模板使用，這意味著可以使用 apply_chat_template() 方法為你格式化消息列表：

chat = [
  {"role": "system", "content": "You are DiscoLM, a helpful assistant."},
  {"role": "user", "content": "Please tell me possible reasons to call a research collective Disco Research"}
]
tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)

如果你使用 tokenize=True 和 return_tensors="pt"，那麼你將得到一個經過分詞和格式化的對話，可直接傳遞給 model.generate()。

📦 數據集

DiscoLM 70b 的數據集整理採用了“暴力”/“概念驗證”方法。以下是用於訓練 DiscoLM 70b 的數據集：

• SlimOrca-Dedup
• OpenSchnabeltier，從 OpenPlatypus 翻譯為德語
• OpenHermes
• MetaMathQA
• UltraChat DE，從 UltraChat 翻譯為德語
• Synthia v.1.3
• German_Songs
• German_Poems
• LDJnr 的Capybara數據集
• Vezora/Tested-188k-Python（不再可用？版本改為 Vezora/Tested-22k-Python-Alpaca）

非常感謝所有數據集提供者/整理者！

📄 許可證

本模型使用的許可證為 llama2。該模型的許可證不構成法律建議。我們不對使用此模型的第三方的行為負責。此模型僅應用於研究目的。原始Llama2許可證以及用於訓練此模型的所有數據集的限制均適用。

👥 聯繫我們

聯繫我們的最佳方式是通過我們的 Discord。

🌟 關於DiscoResearch

DiscoResearch是一個有抱負的開放研究社區。Disco應該是一個讓來自多個社區的研究人員能夠聚集在一起，結合他們的專業知識，創造創新和開創性大語言模型的地方。快來加入我們的Discord，分享你的觀點和想法，與我們一起推動開放大語言模型研究的發展！

🙏 致謝

Disco 70b 是 DiscoResearch 的一個項目，由 Björn Plüster 訓練。Jan Harries 提供了技術建議、後勤支持和模型卡片。AutoMeta 也提供了有用的技術建議，並利用其人脈關係挑選了一組高質量的數據集。該模型由 HessianAI 與 LAION 合作提供計算資源進行訓練 - 特別感謝 Patrick Schramowski 的支持。

我們站在巨人的肩膀上；在此按不特定順序感謝 Laion 提供的LeoLM 70b（特別感謝 Christoph Schuhmann 讓我們建立了聯繫），TheBloke 提供的量化版本，winglian 的Axolotl（用於訓練模型和SlimOrca數據集），garage-bAInd、Teknium、Migel Tissera、MetaMath 和 LDJnr 提供的優秀數據集（如果我們在這裡忘記提及你，請與我們聯繫！）。

📋 信息表格