Moxin 7B LLM

🚀 Moxin 7B大语言模型

Moxin 7B大语言模型是一款强大的语言模型，提供了基础模型、聊天模型等多种类型，可用于文本生成等任务，在多个常见数据集上展现出了良好的性能。

🚀 快速开始

你可以从以下链接下载我们的7B基础模型链接 和7B聊天模型链接。

✨ 主要特性

• 提供多种模型类型，包括基础模型、聊天模型、指令模型、推理模型和视觉语言模型（VLM）。
• 可使用transformers库进行推理，代码简洁易用。
• 在多个常见数据集上进行了评估，展现出了良好的性能。

📦 安装指南

文档未提及具体安装步骤，可参考transformers库的官方安装指南进行安装。

💻 使用示例

基础用法

你可以使用以下代码对模型进行推理。模型保存在./model/目录下。可相应更改模型目录或使用Huggingface链接。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline

torch.backends.cuda.enable_mem_efficient_sdp(False)
torch.backends.cuda.enable_flash_sdp(False)


model_name = 'moxin-org/Moxin-7B-LLM'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
        model_name,
        torch_dtype=torch.bfloat16,
        device_map="auto",
        trust_remote_code=True,
    )

pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer = tokenizer,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

prompt = "Can you explain the concept of regularization in machine learning?"

sequences = pipe(
    prompt,
    do_sample=True,
    max_new_tokens=1000,
    temperature=0.7,
    top_k=50,
    top_p=0.95,
    num_return_sequences=1,
)
print(sequences[0]['generated_text'])

📚 详细文档

评估

我们使用 lm-evaluation-harness 对模型的性能进行了测试。以下是在常见数据集上的评估结果。我们在AI2推理挑战（25-shot）、HellaSwag（10-shot）、MMLU（5-shot）和Winogrande（5-shot）上进行了测试。我们发布了Moxin-7B微调后的模型作为基础模型。我们进一步在Tulu v2上对基础模型进行微调，得到了聊天模型。

我们还测试了模型在AI2推理挑战（0-shot）、AI2推理简易版（0-shot）、HellaSwag（0-shot）、PIQA（0-shot）和Winogrande（0-shot）上的零样本性能。结果如下。

引用

@article{zhao2024fully,
  title={Fully Open Source Moxin-7B Technical Report},
  author={Zhao, Pu and Shen, Xuan and Kong, Zhenglun and Shen, Yixin and Chang, Sung-En and Rupprecht, Timothy and Lu, Lei and Nan, Enfu and Yang, Changdi and He, Yumei and others},
  journal={arXiv preprint arXiv:2412.06845},
  year={2024}
}

📄 许可证

本项目采用Apache-2.0许可证。