Beyonder 4x7B V2

🚀 Beyonder-4x7B-v2

Beyonder-4x7B-v2 是一個使用 mergekit（mixtral 分支）創建的專家混合（Mixture of Experts, MoE）模型。它結合了多個基礎模型的優勢，在文本生成任務上表現出色，為用戶提供更準確、更高效的文本生成服務。

🚀 快速開始

你可以使用以下代碼在 Google Colab 上以 4 位精度運行此模型：

!pip install -qU transformers bitsandbytes accelerate

from transformers import AutoTokenizer
import transformers
import torch

model = "mlabonne/Beyonder-4x7B-v2"

tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    model_kwargs={"torch_dtype": torch.float16, "load_in_4bit": True},
)

messages = [{"role": "user", "content": "Explain what a Mixture of Experts is in less than 100 words."}]
prompt = pipeline.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])

輸出結果：

A Mixture of Experts (ME) is a machine learning technique that combines multiple expert models to make predictions or decisions. Each expert model is specialized in a different aspect of the problem, and their outputs are combined to produce a more accurate and robust solution. This approach allows the model to leverage the strengths of individual experts and compensate for their weaknesses, improving overall performance.

這裡還有一個 notebook，可幫助你在 Google Colab 上使用免費的 T4 GPU 以 4 位精度運行此模型。

✨ 主要特性

• 專家混合架構：結合多個基礎模型的優勢，在文本生成任務上表現出色。
• 多場景適用：適用於多種文本生成場景，如問答、代碼生成、故事創作等。
• 高效推理：推薦上下文長度為 8k，能夠在保證性能的同時提高推理效率。

📦 量化模型

感謝 TheBloke 提供的量化模型：

• GGUF：https://huggingface.co/TheBloke/Beyonder-4x7B-v2-GGUF
• AWQ：https://huggingface.co/TheBloke/Beyonder-4x7B-v2-AWQ
• GPTQ：https://huggingface.co/TheBloke/Beyonder-4x7B-v2-GPTQ
• EXL2：https://huggingface.co/bartowski/Beyonder-4x7B-v2-exl2

🏆 評估

與 Mixtral-8x7B-Instruct-v0.1 對比

Beyonder-4x7B-v2 在 Open LLM Leaderboard 上與 Mixtral-8x7B-Instruct-v0.1 具有競爭力，且僅使用 4 個專家模型而非 8 個。

與單個專家模型對比

它相較於單個專家模型有顯著提升。

Nous 基準測試套件

在 Nous 基準測試套件中，與其他模型相比表現出色，幾乎與最佳的 Yi-34B 微調模型相當，而後者是一個更大的模型：242 億參數 + 推理時僅選擇兩個專家（約 120 億），而 Beyonder-4x7B-v2 為 340 億參數。

各任務詳細評估

AGIEval

GPT4All

TruthfulQA

Bigbench

🧩 配置

base_model: mlabonne/Marcoro14-7B-slerp
experts:
  - source_model: openchat/openchat-3.5-1210
    positive_prompts:
    - "chat"
    - "assistant"
    - "tell me"
    - "explain"
  - source_model: beowolx/CodeNinja-1.0-OpenChat-7B
    positive_prompts:
    - "code"
    - "python"
    - "javascript"
    - "programming"
    - "algorithm"
  - source_model: maywell/PiVoT-0.1-Starling-LM-RP
    positive_prompts:
    - "storywriting"
    - "write"
    - "scene"
    - "story"
    - "character"
  - source_model: WizardLM/WizardMath-7B-V1.1
    positive_prompts:
    - "reason"
    - "math"
    - "mathematics"
    - "solve"
    - "count"

📄 許可證

本模型使用的許可證為 microsoft-research-license，詳情請見：https://huggingface.co/WizardLM/WizardMath-7B-V1.1/resolve/main/LICENSE