Moxin 7B LLM

🚀 Moxin 7B大語言模型

Moxin 7B大語言模型是一款強大的語言模型，提供了基礎模型、聊天模型等多種類型，可用於文本生成等任務，在多個常見數據集上展現出了良好的性能。

🚀 快速開始

你可以從以下鏈接下載我們的7B基礎模型鏈接 和7B聊天模型鏈接。

✨ 主要特性

• 提供多種模型類型，包括基礎模型、聊天模型、指令模型、推理模型和視覺語言模型（VLM）。
• 可使用transformers庫進行推理，代碼簡潔易用。
• 在多個常見數據集上進行了評估，展現出了良好的性能。

📦 安裝指南

文檔未提及具體安裝步驟，可參考transformers庫的官方安裝指南進行安裝。

💻 使用示例

基礎用法

你可以使用以下代碼對模型進行推理。模型保存在./model/目錄下。可相應更改模型目錄或使用Huggingface鏈接。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline

torch.backends.cuda.enable_mem_efficient_sdp(False)
torch.backends.cuda.enable_flash_sdp(False)


model_name = 'moxin-org/Moxin-7B-LLM'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
        model_name,
        torch_dtype=torch.bfloat16,
        device_map="auto",
        trust_remote_code=True,
    )

pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer = tokenizer,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

prompt = "Can you explain the concept of regularization in machine learning?"

sequences = pipe(
    prompt,
    do_sample=True,
    max_new_tokens=1000,
    temperature=0.7,
    top_k=50,
    top_p=0.95,
    num_return_sequences=1,
)
print(sequences[0]['generated_text'])

📚 詳細文檔

評估

我們使用 lm-evaluation-harness 對模型的性能進行了測試。以下是在常見數據集上的評估結果。我們在AI2推理挑戰（25-shot）、HellaSwag（10-shot）、MMLU（5-shot）和Winogrande（5-shot）上進行了測試。我們發佈了Moxin-7B微調後的模型作為基礎模型。我們進一步在Tulu v2上對基礎模型進行微調，得到了聊天模型。

我們還測試了模型在AI2推理挑戰（0-shot）、AI2推理簡易版（0-shot）、HellaSwag（0-shot）、PIQA（0-shot）和Winogrande（0-shot）上的零樣本性能。結果如下。

引用

@article{zhao2024fully,
  title={Fully Open Source Moxin-7B Technical Report},
  author={Zhao, Pu and Shen, Xuan and Kong, Zhenglun and Shen, Yixin and Chang, Sung-En and Rupprecht, Timothy and Lu, Lei and Nan, Enfu and Yang, Changdi and He, Yumei and others},
  journal={arXiv preprint arXiv:2412.06845},
  year={2024}
}

📄 許可證

本項目採用Apache-2.0許可證。