Beyonder 4x7B V2

🚀 Beyonder-4x7B-v2

Beyonder-4x7B-v2 是一个使用 mergekit（mixtral 分支）创建的专家混合（Mixture of Experts, MoE）模型。它结合了多个基础模型的优势，在文本生成任务上表现出色，为用户提供更准确、更高效的文本生成服务。

🚀 快速开始

你可以使用以下代码在 Google Colab 上以 4 位精度运行此模型：

!pip install -qU transformers bitsandbytes accelerate

from transformers import AutoTokenizer
import transformers
import torch

model = "mlabonne/Beyonder-4x7B-v2"

tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    model_kwargs={"torch_dtype": torch.float16, "load_in_4bit": True},
)

messages = [{"role": "user", "content": "Explain what a Mixture of Experts is in less than 100 words."}]
prompt = pipeline.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])

输出结果：

A Mixture of Experts (ME) is a machine learning technique that combines multiple expert models to make predictions or decisions. Each expert model is specialized in a different aspect of the problem, and their outputs are combined to produce a more accurate and robust solution. This approach allows the model to leverage the strengths of individual experts and compensate for their weaknesses, improving overall performance.

这里还有一个 notebook，可帮助你在 Google Colab 上使用免费的 T4 GPU 以 4 位精度运行此模型。

✨ 主要特性

• 专家混合架构：结合多个基础模型的优势，在文本生成任务上表现出色。
• 多场景适用：适用于多种文本生成场景，如问答、代码生成、故事创作等。
• 高效推理：推荐上下文长度为 8k，能够在保证性能的同时提高推理效率。

📦 量化模型

感谢 TheBloke 提供的量化模型：

• GGUF：https://huggingface.co/TheBloke/Beyonder-4x7B-v2-GGUF
• AWQ：https://huggingface.co/TheBloke/Beyonder-4x7B-v2-AWQ
• GPTQ：https://huggingface.co/TheBloke/Beyonder-4x7B-v2-GPTQ
• EXL2：https://huggingface.co/bartowski/Beyonder-4x7B-v2-exl2

🏆 评估

与 Mixtral-8x7B-Instruct-v0.1 对比

Beyonder-4x7B-v2 在 Open LLM Leaderboard 上与 Mixtral-8x7B-Instruct-v0.1 具有竞争力，且仅使用 4 个专家模型而非 8 个。

与单个专家模型对比

它相较于单个专家模型有显著提升。

Nous 基准测试套件

在 Nous 基准测试套件中，与其他模型相比表现出色，几乎与最佳的 Yi-34B 微调模型相当，而后者是一个更大的模型：242 亿参数 + 推理时仅选择两个专家（约 120 亿），而 Beyonder-4x7B-v2 为 340 亿参数。

各任务详细评估

AGIEval

GPT4All

TruthfulQA

Bigbench

🧩 配置

base_model: mlabonne/Marcoro14-7B-slerp
experts:
  - source_model: openchat/openchat-3.5-1210
    positive_prompts:
    - "chat"
    - "assistant"
    - "tell me"
    - "explain"
  - source_model: beowolx/CodeNinja-1.0-OpenChat-7B
    positive_prompts:
    - "code"
    - "python"
    - "javascript"
    - "programming"
    - "algorithm"
  - source_model: maywell/PiVoT-0.1-Starling-LM-RP
    positive_prompts:
    - "storywriting"
    - "write"
    - "scene"
    - "story"
    - "character"
  - source_model: WizardLM/WizardMath-7B-V1.1
    positive_prompts:
    - "reason"
    - "math"
    - "mathematics"
    - "solve"
    - "count"

📄 许可证

本模型使用的许可证为 microsoft-research-license，详情请见：https://huggingface.co/WizardLM/WizardMath-7B-V1.1/resolve/main/LICENSE