Laser Dolphin Mixtral 2x7b Dpo

🚀 Laser-Dolphin-Mixtral-2x7b-dpo

Laser-Dolphin-Mixtral-2x7b-dpo 是一个基于特定模型改进而来的中型 MoE 实现模型，在文本生成任务上有不错的表现，新版本在评估性能上平均提升了约 1 分。

🚀 快速开始

Ollama 使用

ollama run macadeliccc/laser-dolphin-mixtral-2x7b-dpo

代码示例

切换注释的模型定义以使用 4 位量化。该模型在 9GB 显存下仍能工作，并且在性能上比单个 7B 模型大约高出 5 - 6 分。

from transformers import AutoModelForCausalLM, AutoTokenizer

def generate_response(prompt):
    """
    Generate a response from the model based on the input prompt.

    Args:
    prompt (str): Prompt for the model.

    Returns:
    str: The generated response from the model.
    """
    # Tokenize the input prompt
    inputs = tokenizer(prompt, return_tensors="pt")

    # Generate output tokens
    outputs = model.generate(**inputs, max_new_tokens=256, eos_token_id=tokenizer.eos_token_id, pad_token_id=tokenizer.pad_token_id)

    # Decode the generated tokens to a string
    response = tokenizer.decode(outputs[0], skip_special_tokens=True)

    return response

# Load the model and tokenizer
model_id = "macadeliccc/laser-dolphin-mixtral-2x7b-dpo"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, load_in_4bit=True)

prompt = "Write a quicksort algorithm in python"

# Generate and print responses for each language
print("Response:")
print(generate_response(prompt), "\n")

你可以点击 colab 查看使用示例。

✨ 主要特性

• 性能提升：新版本在评估性能上平均提升了约 1 分。
• 多任务支持：在多种文本生成任务上有良好表现，如 AI2 Reasoning Challenge、HellaSwag、MMLU 等。
• 多种量化支持：支持 ExLlamav2、GGUF、AWQ 等多种量化方式。

📦 安装指南

文档未提及具体安装步骤，可参考相关依赖库的安装方式。

📚 详细文档

模型概述

该模型基于 cognitivecomputations/dolphin-2.6-mistral-7b-dpo-laser 构建，是一个中型 MoE 实现。

处理流程

• 具体流程可参考 notebook。
• mergekit_config 在文件中。
• 配置中使用的模型未经过处理，但最终产品经过处理，这是与上一版本的更新之处。
• 该处理流程是实验性的，实际效果可能有所不同。

未来目标

• [ ] 实现函数调用功能。
• [ ] 使用新的基础模型发布 v2 版本以提升性能。

量化方式

ExLlamav2

这是推荐给在 GPU 上运行模型的用户的量化方式。感谢用户 bartowski，现在有 3.5 到 8 bpw 的 exllamav2 量化版本，可在 bartowski/laser-dolphin-mixtral-2x7b-dpo-exl2 查看。

GGUF

当前 GGUF 量化版本。

AWQ

当前 AWQ 量化版本。

TheBloke

由 TheBloke 提供的量化版本可能会导致不可预测的行为。由于模型已更新，有新的量化版本可用。

HF Spaces

• GGUF 聊天可在 这里 使用。
• 4 位 bnb 聊天可在 这里 使用。

🔧 技术细节

评估结果

EQ Bench

----Benchmark Complete----
2024-01-31 16:55:37
Time taken: 31.1 mins
Prompt Format: ChatML
Model: macadeliccc/laser-dolphin-mixtral-2x7b-dpo-GGUF
Score (v2): 72.76
Parseable: 171.0
---------------
Batch completed
Time taken: 31.2 mins
---------------

评估 colab

先前评估总结

当前详细评估

AGIEval

平均：42.25%

GPT4All

平均：73.45%

GSM8K

TruthfulQA

平均：63.44%

Bigbench

平均：43.96%

平均得分：55.77%

耗时：02:43:45

Open LLM Leaderboard 评估结果

详细结果可查看 这里

📄 许可证

本项目采用 Apache-2.0 许可证。

📖 引用

文献引用

Fernando Fernandes Neto 和 Eric Hartford. "Optimizing Large Language Models Using Layer-Selective Rank Reduction and Random Matrix Theory." 2024.

@article{sharma2023truth,
title={The Truth is in There: Improving Reasoning in Language Models with Layer-Selective Rank Reduction},
author={Sharma, Pratyusha and Ash, Jordan T and Misra, Dipendra},
journal={arXiv preprint arXiv:2312.13558},
year={2023} }

@article{gao2021framework,
  title={A framework for few-shot language model evaluation},
  author={Gao, Leo and Tow, Jonathan and Biderman, Stella and Black, Sid and DiPofi, Anthony and Foster, Charles and Golding, Laurence and Hsu, Jeffrey and McDonell, Kyle and Muennighoff, Niklas and others},
  journal={Version v0. 0.1. Sept},
  year={2021}
}