Laser Dolphin Mixtral 2x7b Dpo

🚀 Laser-Dolphin-Mixtral-2x7b-dpo

Laser-Dolphin-Mixtral-2x7b-dpo 是一個基於特定模型改進而來的中型 MoE 實現模型，在文本生成任務上有不錯的表現，新版本在評估性能上平均提升了約 1 分。

🚀 快速開始

Ollama 使用

ollama run macadeliccc/laser-dolphin-mixtral-2x7b-dpo

代碼示例

切換註釋的模型定義以使用 4 位量化。該模型在 9GB 顯存下仍能工作，並且在性能上比單個 7B 模型大約高出 5 - 6 分。

from transformers import AutoModelForCausalLM, AutoTokenizer

def generate_response(prompt):
    """
    Generate a response from the model based on the input prompt.

    Args:
    prompt (str): Prompt for the model.

    Returns:
    str: The generated response from the model.
    """
    # Tokenize the input prompt
    inputs = tokenizer(prompt, return_tensors="pt")

    # Generate output tokens
    outputs = model.generate(**inputs, max_new_tokens=256, eos_token_id=tokenizer.eos_token_id, pad_token_id=tokenizer.pad_token_id)

    # Decode the generated tokens to a string
    response = tokenizer.decode(outputs[0], skip_special_tokens=True)

    return response

# Load the model and tokenizer
model_id = "macadeliccc/laser-dolphin-mixtral-2x7b-dpo"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, load_in_4bit=True)

prompt = "Write a quicksort algorithm in python"

# Generate and print responses for each language
print("Response:")
print(generate_response(prompt), "\n")

你可以點擊 colab 查看使用示例。

✨ 主要特性

• 性能提升：新版本在評估性能上平均提升了約 1 分。
• 多任務支持：在多種文本生成任務上有良好表現，如 AI2 Reasoning Challenge、HellaSwag、MMLU 等。
• 多種量化支持：支持 ExLlamav2、GGUF、AWQ 等多種量化方式。

📦 安裝指南

文檔未提及具體安裝步驟，可參考相關依賴庫的安裝方式。

📚 詳細文檔

模型概述

該模型基於 cognitivecomputations/dolphin-2.6-mistral-7b-dpo-laser 構建，是一箇中型 MoE 實現。

處理流程

• 具體流程可參考 notebook。
• mergekit_config 在文件中。
• 配置中使用的模型未經過處理，但最終產品經過處理，這是與上一版本的更新之處。
• 該處理流程是實驗性的，實際效果可能有所不同。

未來目標

• [ ] 實現函數調用功能。
• [ ] 使用新的基礎模型發佈 v2 版本以提升性能。

量化方式

ExLlamav2

這是推薦給在 GPU 上運行模型的用戶的量化方式。感謝用戶 bartowski，現在有 3.5 到 8 bpw 的 exllamav2 量化版本，可在 bartowski/laser-dolphin-mixtral-2x7b-dpo-exl2 查看。

GGUF

當前 GGUF 量化版本。

AWQ

當前 AWQ 量化版本。

TheBloke

由 TheBloke 提供的量化版本可能會導致不可預測的行為。由於模型已更新，有新的量化版本可用。

HF Spaces

• GGUF 聊天可在 這裡 使用。
• 4 位 bnb 聊天可在 這裡 使用。

🔧 技術細節

評估結果

EQ Bench

----Benchmark Complete----
2024-01-31 16:55:37
Time taken: 31.1 mins
Prompt Format: ChatML
Model: macadeliccc/laser-dolphin-mixtral-2x7b-dpo-GGUF
Score (v2): 72.76
Parseable: 171.0
---------------
Batch completed
Time taken: 31.2 mins
---------------

評估 colab

先前評估總結

當前詳細評估

AGIEval

平均：42.25%

GPT4All

平均：73.45%

GSM8K

TruthfulQA

平均：63.44%

Bigbench

平均：43.96%

平均得分：55.77%

耗時：02:43:45

Open LLM Leaderboard 評估結果

詳細結果可查看 這裡

📄 許可證

本項目採用 Apache-2.0 許可證。

📖 引用

文獻引用

Fernando Fernandes Neto 和 Eric Hartford. "Optimizing Large Language Models Using Layer-Selective Rank Reduction and Random Matrix Theory." 2024.

@article{sharma2023truth,
title={The Truth is in There: Improving Reasoning in Language Models with Layer-Selective Rank Reduction},
author={Sharma, Pratyusha and Ash, Jordan T and Misra, Dipendra},
journal={arXiv preprint arXiv:2312.13558},
year={2023} }

@article{gao2021framework,
  title={A framework for few-shot language model evaluation},
  author={Gao, Leo and Tow, Jonathan and Biderman, Stella and Black, Sid and DiPofi, Anthony and Foster, Charles and Golding, Laurence and Hsu, Jeffrey and McDonell, Kyle and Muennighoff, Niklas and others},
  journal={Version v0. 0.1. Sept},
  year={2021}
}