Mamba Gpt 3b V4

🚀 Mamba - GPT - 3B - V4模型

Mamba - GPT - 3B - V4是一款出色的3B模型，在Open LLM排行榜上表现卓越，性能超越了dolly - v2 - 12b，为用户提供高质量的语言处理能力。

🚀 快速开始

若要在配备GPU的机器上使用transformers库调用此模型，首先需确保安装了transformers、accelerate和torch库：

pip install transformers==4.29.2
pip install accelerate==0.19.0
pip install torch==2.0.0

接着，运行以下Python代码：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("CobraMamba/mamba-gpt-3b-v4")
model = AutoModelForCausalLM.from_pretrained("CobraMamba/mamba-gpt-3b-v4", trust_remote_code=True, torch_dtype=torch.float16)

# we use alpaca prompt
input_content = "Your text here"
input_ids = tokenizer.encode(input_content, return_tensors="pt")
output = model.generate(input_ids, max_length=128, temperature=0.7)
output_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(output_text)

✨ 主要特性

• 卓越性能：在Open LLM排行榜上表现优异，超越dolly - v2 - 12b，平均得分达45.2。
• 多数据集训练：基于多个优质数据集进行训练，包括Stanford Alpaca、Open Assistant等。
• 可扩展性：训练代码和数据后续将在Github开源，方便开发者进一步研究和扩展。

📦 安装指南

要使用该模型，需在有GPU的机器上安装以下依赖库：

pip install transformers==4.29.2
pip install accelerate==0.19.0
pip install torch==2.0.0

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("CobraMamba/mamba-gpt-3b-v4")
model = AutoModelForCausalLM.from_pretrained("CobraMamba/mamba-gpt-3b-v4", trust_remote_code=True, torch_dtype=torch.float16)

# we use alpaca prompt
input_content = "Your text here"
input_ids = tokenizer.encode(input_content, return_tensors="pt")
output = model.generate(input_ids, max_length=128, temperature=0.7)
output_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(output_text)

📚 详细文档

模型性能

我们使用了SOTA（最先进技术）的Language Model Evaluation Harness来进行上述基准测试。

训练数据集

mamba - gpt - 3b - v4在多个数据集上进行训练：

• Stanford Alpaca (en)
• Open Assistant (multilingual)
• LIMA (en)
• CodeAlpaca 20k (en)
• [GPT - 4 Generated Data (en&zh)](https://github.com/Instruction - Tuning - with - GPT - 4/GPT - 4 - LLM)
• UltraChat (en)

模型概述

我们对OpenLLaMA模型进行了微调，在多个评估子任务中超越了原始模型，使其成为目前性能最佳的3B模型之一，性能可与llama - 7b相媲美。

• 基础模型：[openlm - research/open_llama_3b_v2](https://huggingface.co/openlm - research/open_llama_3b_v2)

训练代码和数据

训练代码和数据后续将在Github(https://github.com/chi2liu/mamba - gpt - 3b)上开源。

🔧 技术细节

• 测试环境：hf - causal (pretrained = CobraMamba/mamba - gpt - 3b - v4)，限制：无，提供描述：否，少样本数量：0，批量大小：无。
• 测试结果：在0 - shot测试下的性能大多优于acrastt/Marx - 3B - V2。

📄 许可证

本项目采用Apache - 2.0许可证。

📋 免责声明

在使用本仓库提供的大语言模型之前，请仔细阅读本免责声明。使用该模型即表示您同意以下条款和条件。

⚠️ 重要提示

• 偏差与冒犯性：该大语言模型基于多种互联网文本数据进行训练，这些数据可能包含有偏差、种族主义、冒犯性或其他不适当的内容。使用此模型即表示您承认并接受生成的内容有时可能存在偏差或产生冒犯性或不适当的内容。本仓库的开发者不支持、认可或推广任何此类内容或观点。
• 局限性：该大语言模型是基于人工智能的工具，并非人类。它可能会产生错误、无意义或不相关的回复。用户有责任对生成的内容进行批判性评估，并自行决定是否使用。
• 风险自负：使用此大语言模型的用户必须对使用该工具可能产生的任何后果承担全部责任。本仓库的开发者和贡献者不对因使用或滥用所提供的模型而导致的任何损害、损失或伤害承担责任。