BELLE 7B 2M

🚀 BELLE模型介绍

BELLE是基于Bloomz - 7b1 - mt微调得到的大语言模型，结合了大量中文数据与部分英文数据进行训练，在中文指令理解和响应生成方面表现出色。它能处理多种任务，如文本生成、情感分类、翻译等。

🚀 快速开始

如果您觉得此模型对您有帮助，请 点赞 此模型并在 GitHub项目 上给我们加星！

✨ 主要特性

• 多语言支持：支持中文和英文，在中文任务上表现尤为突出。
• 多任务处理：可以完成文本生成、情感分类、代码编写、翻译等多种任务。
• 多版本选择：提供不同数据集大小训练的模型版本，可按需选择。

📦 安装指南

文档未提及具体安装步骤，暂不提供相关内容。

💻 使用示例

基础用法

请注意，在训练和推理时，模型的输入应该处理成如下形式：

Human: {input} \n\nAssistant:

通过AutoModelForCausalLM即可直接载入模型并使用。

from transformers import AutoTokenizer, AutoModelForCausalLM
import sys

model_path = "./" # You can modify the path for storing the local model
model =  AutoModelForCausalLM.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path)
print("Human:")
line = input()
while line:
        inputs = 'Human: ' + line.strip() + '\n\nAssistant:'
        input_ids = tokenizer(inputs, return_tensors="pt").input_ids
        outputs = model.generate(input_ids, max_new_tokens=200, do_sample = True, top_k = 30, top_p = 0.85, temperature = 0.35, repetition_penalty=1.2)
        rets = tokenizer.batch_decode(outputs, skip_special_tokens=True)
        print("Assistant:\n" + rets[0].strip().replace(inputs, ""))
        print("\n------------------------------------------------\nHuman:")
        line = input()

高级用法

上面样例没有利用对话上文，如果你想做多轮对话理解，可以将对话上文按照Human:{input}\n\nAssistant:{output} 方式拼接起来输入给generate函数

📚 详细文档

模型描述

BELLE以Bloomz - 7b1 - mt为基础，在200万条中文数据上，结合Stanford - Alpaca开源的5万条英文数据进行微调，具备良好的中文指令理解和响应生成能力。

中文数据生成代码及其他详细信息，位于我们的 Github项目仓库。

我们使用不同大小规模（20万、60万、100万和200万样本）的指令学习数据集训练模型，得到不同的模型版本如下：

训练超参数

一些使用案例

🔧 技术细节

基于当前数据和基础模型训练得到的SFT模型，在效果上仍存在以下问题：

1. 在涉及事实性的指令上可能会产生违背事实的错误回答。
2. 对于具备危害性的指令无法很好的鉴别，由此会产生危害性言论。
3. 在一些涉及推理、代码等场景下模型的能力仍有待提高。

基于以上模型局限性，我们要求开发者仅将我们开源的代码、数据、模型及后续用此项目生成的衍生物用于研究目的，不得用于商业，以及其他会对社会带来危害的用途。

📄 许可证

本模型使用Apache - 2.0许可证。

📚 引用

如果使用本项目的代码、数据或模型，请引用本项目。

@misc{BELLE,
  author = {Yunjie Ji, Yong Deng, Yan Gong, Yiping Peng, Qiang Niu, Baochang Ma, Xiangang Li},
  title = {BELLE: Bloom-Enhanced Large Language model Engine },
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/LianjiaTech/BELLE}},
}

也请同时引用原始的BLOOM论文、Stanford Alpaca和Self - Instruct论文。