Discolm Mixtral 8x7b V2

🚀 DiscoLM Mixtral 8x7b alpha

DiscoLM Mixtral 8x7b alpha是一個基於Mistral AI的Mixtral 8x7b的實驗性8x7b Mixture of Experts（MoE）模型。該模型基於將模型權重轉換為Hugging Face格式並支持基於Transformers推理的實驗代碼。之後，它在Synthia、MethaMathQA和Capybara數據集上進行了微調。DiscoLM Mixtral 8x7b alpha是DiscoResearch的一個項目，由Björn Plüster創建，並得到了社區的大力支持。

非常感謝HessianAI為這個項目提供計算資源，也感謝LAION的傑出貢獻者們，沒有他們，這個項目就不可能實現！

八位法國專家坐在桌旁，風很大。

🚀 快速開始

下載

請注意，在新架構合併到Transformers之前，你必須使用trust_remote_code=True來運行模型！

✨ 主要特性

基準測試

Hugging Face排行榜

這個模型仍處於早期Alpha階段，使用的是實驗代碼，我們不能保證所有數值都是正確的。以下是我們自己評估的得分：

我們使用Language Model Evaluation Harness來運行上述基準測試，使用的版本與Hugging Face LLM排行榜相同。

FastEval

{
    "gsm8k": 0.656,
    "math": 0.242,
    "bbh": {
        "average": 0.5807843137254902
    },
    "mmlu": {
        "average": 0.6245614035087719
    },
    "total": 0.4690691434468524
}

MTBench

{
  "first_turn": 7.89375,
  "second_turn": 7.5125,
  "categories": {
      "writing": 9.25,
      "roleplay": 8.425,
      "reasoning": 5.7,
      "math": 5.85,
      "coding": 4.45,
      "extraction": 8.75,
      "stem": 9.45,
      "humanities": 9.75
  },
  "average": 7.703125
}

提示格式

請注意，在新架構合併到Transformers之前，你必須使用trust_remote_code=True來運行模型！

這個模型遵循ChatML格式：

<|im_start|>system
You are DiscoLM, a helpful assistant.
<|im_end|>
<|im_start|>user
Please tell me possible reasons to call a research collective "Disco Research"<|im_end|>
<|im_start|>assistant

這種格式也可以通過預定義的Transformers聊天模板獲得，這意味著可以使用apply_chat_template()方法為你格式化消息列表：

chat = [
  {"role": "system", "content": "You are DiscoLM, a helpful assistant."},
  {"role": "user", "content": "Please tell me possible reasons to call a research collective Disco Research"}
]
tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)

如果你使用tokenize=True和return_tensors="pt"，那麼你將得到一個經過分詞和格式化的對話，可以直接傳遞給model.generate()。

基本推理代碼：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("DiscoResearch/DiscoLM-mixtral-8x7b-v2", low_cpu_mem_usage=True, device_map="auto", trust_remote_code=True)
tok = AutoTokenizer.from_pretrained("DiscoResearch/DiscoLM-mixtral-8x7b-v2")
chat = [
  {"role": "system", "content": "You are DiscoLM, a helpful assistant."},
  {"role": "user", "content": "Please tell me possible reasons to call a research collective Disco Research"}
]
x = tok.apply_chat_template(chat, tokenize=True, return_tensors="pt", add_generation_prompt=True).cuda()
x = model.generate(x, max_new_tokens=128).cpu()
print(tok.batch_decode(x))

📦 數據集

以下數據集用於訓練DiscoLM Mixtral 8x7b alpha：

• Synthia
• MetaMathQA
• LDJnr的Capybara數據集

非常感謝所有數據集的提供者和整理者！

📚 聯繫我們

聯繫我們的最佳方式是通過我們的Discord。

📚 關於DiscoResearch

DiscoResearch是一個有抱負的開放研究社區。Disco應該是一個讓來自不同社區的研究人員能夠聚集在一起，結合他們的專業知識，創造創新和開創性大語言模型的地方。快來加入我們的Discord，分享你的觀點和想法，與我們一起推動開放大語言模型研究的發展！

📚 致謝

首先，非常感謝Mistral AI發佈了另一個出色的模型，以及他們的發佈策略，這讓整個社區都樂在其中。此外，特別感謝Dmytro Dzhulgakov，他是第一個實現推理代碼的人；感謝Vik，他發現了我們第一個實現中的一個關鍵錯誤（他真的讀了論文！）；感謝winglian提供的有用建議，以及用於微調模型的Axolotl；感謝MigTissera、MetaMath和LDJnr提供的優秀數據集；感謝所有參與這個精彩速跑項目的人，無論是在我們的、Nous Research的還是其他Discord社區中的人（如果我們忘記提及你，請聯繫我們！）。

DiscoLM Mixtral是DiscoResearch的一個項目，由Björn Plüster創建。該模型的訓練計算資源由HessianAI提供；也非常感謝LAION的協調工作以及提供的寶貴聯繫人和建議。

📚 免責聲明

此模型的許可證不構成法律建議。我們不對使用此模型的第三方的行為負責。此模型僅應用於研究目的。

📚 信息表格

📚 常用提示信息

⚠️ 重要提示

在新架構合併到Transformers之前，你必須使用trust_remote_code=True來運行模型！

💡 使用建議

聯繫我們的最佳方式是通過我們的Discord。