BELLE 7B 2M

🚀 BELLE模型介紹

BELLE是基於Bloomz - 7b1 - mt微調得到的大語言模型，結合了大量中文數據與部分英文數據進行訓練，在中文指令理解和響應生成方面表現出色。它能處理多種任務，如文本生成、情感分類、翻譯等。

🚀 快速開始

如果您覺得此模型對您有幫助，請 點贊 此模型並在 GitHub項目 上給我們加星！

✨ 主要特性

• 多語言支持：支持中文和英文，在中文任務上表現尤為突出。
• 多任務處理：可以完成文本生成、情感分類、代碼編寫、翻譯等多種任務。
• 多版本選擇：提供不同數據集大小訓練的模型版本，可按需選擇。

📦 安裝指南

文檔未提及具體安裝步驟，暫不提供相關內容。

💻 使用示例

基礎用法

請注意，在訓練和推理時，模型的輸入應該處理成如下形式：

Human: {input} \n\nAssistant:

通過AutoModelForCausalLM即可直接載入模型並使用。

from transformers import AutoTokenizer, AutoModelForCausalLM
import sys

model_path = "./" # You can modify the path for storing the local model
model =  AutoModelForCausalLM.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path)
print("Human:")
line = input()
while line:
        inputs = 'Human: ' + line.strip() + '\n\nAssistant:'
        input_ids = tokenizer(inputs, return_tensors="pt").input_ids
        outputs = model.generate(input_ids, max_new_tokens=200, do_sample = True, top_k = 30, top_p = 0.85, temperature = 0.35, repetition_penalty=1.2)
        rets = tokenizer.batch_decode(outputs, skip_special_tokens=True)
        print("Assistant:\n" + rets[0].strip().replace(inputs, ""))
        print("\n------------------------------------------------\nHuman:")
        line = input()

高級用法

上面樣例沒有利用對話上文，如果你想做多輪對話理解，可以將對話上文按照Human:{input}\n\nAssistant:{output} 方式拼接起來輸入給generate函數

📚 詳細文檔

模型描述

BELLE以Bloomz - 7b1 - mt為基礎，在200萬條中文數據上，結合Stanford - Alpaca開源的5萬條英文數據進行微調，具備良好的中文指令理解和響應生成能力。

中文數據生成代碼及其他詳細信息，位於我們的 Github項目倉庫。

我們使用不同大小規模（20萬、60萬、100萬和200萬樣本）的指令學習數據集訓練模型，得到不同的模型版本如下：

訓練超參數

一些使用案例

🔧 技術細節

基於當前數據和基礎模型訓練得到的SFT模型，在效果上仍存在以下問題：

1. 在涉及事實性的指令上可能會產生違背事實的錯誤回答。
2. 對於具備危害性的指令無法很好的鑑別，由此會產生危害性言論。
3. 在一些涉及推理、代碼等場景下模型的能力仍有待提高。

基於以上模型侷限性，我們要求開發者僅將我們開源的代碼、數據、模型及後續用此項目生成的衍生物用於研究目的，不得用於商業，以及其他會對社會帶來危害的用途。

📄 許可證

本模型使用Apache - 2.0許可證。

📚 引用

如果使用本項目的代碼、數據或模型，請引用本項目。

@misc{BELLE,
  author = {Yunjie Ji, Yong Deng, Yan Gong, Yiping Peng, Qiang Niu, Baochang Ma, Xiangang Li},
  title = {BELLE: Bloom-Enhanced Large Language model Engine },
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/LianjiaTech/BELLE}},
}

也請同時引用原始的BLOOM論文、Stanford Alpaca和Self - Instruct論文。