Breeze 7B Instruct V1 0

🚀 联发科研究Breeze-7B-Instruct-v1_0模型卡片

联发科研究的Breeze-7B是基于Mistral-7B构建的语言模型家族，专门为繁体中文使用场景设计。该模型家族在性能和实用性上表现出色，能满足多种自然语言处理任务的需求。

🚀 快速开始

若要在Transformers库中使用Breeze-7B模型，可按以下步骤操作：

1. 首先安装直接依赖项：

pip install transformers torch accelerate

2. 若想使用flash-attention2实现更快的推理速度，还需安装以下依赖项：

pip install packaging ninja
pip install flash-attn

3. 然后在transformers中加载模型：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# 指令模型
model = AutoModelForCausalLM.from_pretrained(
    "MediaTek-Research/Breeze-7B-Instruct-v1_0",
    device_map="auto",
    torch_dtype=torch.bfloat16,
    # attn_implementation="flash_attention_2" # 可选
)

# 基础模型
model = AutoModelForCausalLM.from_pretrained(
    "MediaTek-Research/Breeze-7B-Base-v1_0",
    device_map="auto",
    torch_dtype=torch.bfloat16,
    # attn_implementation="flash_attention_2" # 可选
)

对于Breeze-7B-Instruct模型，查询的结构如下：

<s>SYS_PROMPT  [INST] QUERY1 [/INST] RESPONSE1 [INST] QUERY2 [/INST] 

其中，SYS_PROMPT、QUERY1、RESPONSE1和QUERY2可由用户提供。建议的默认SYS_PROMPT为：

You are a helpful AI assistant built by MediaTek Research. The user you are helping speaks Traditional Chinese and comes from Taiwan.

我们还将chat_template集成到了tokenizer_config.json中，因此可以使用apply_chat_template来获取提示：

>>> from transformers import AutoTokenizer
>>> tokenizer = AutoTokenizer.from_pretrained("MediaTek-Research/Breeze-7B-Instruct-v1_0")
>>> chat = [
...   {"role": "user", "content": "你好，請問你可以完成什麼任務？"},
...   {"role": "assistant", "content": "你好，我可以幫助您解決各種問題、提供資訊和協助您完成許多不同的任務。例如：回答技術問題、提供建議、翻譯文字、尋找資料或協助您安排行程等。請告訴我如何能幫助您。"},
...   {"role": "user", "content": "太棒了！"},
... ]
>>> tokenizer.apply_chat_template(chat, tokenize=False)
"<s>You are a helpful AI assistant built by MediaTek Research. The user you are helping speaks Traditional Chinese and comes from Taiwan.  [INST] 你好，請問你可以完成什麼任務？ [/INST] 你好，我可以幫助您解決各種問題、提供資訊和協助您完成許多不同的任務。例如：回答技術問題、提供建議、翻譯文字、尋找資料或協助您安排行程等。請告訴我如何能幫助您。 [INST] 太棒了！ [/INST] "
# 分词结果
# ['▁', '你好', '，', '請問', '你', '可以', '完成', '什麼', '任務', '？']
# ['▁', '你好', '，', '我', '可以', '幫助', '您', '解決', '各種', '問題', '、', '提供', '資訊', '和', '協助', '您', '完成', '許多', '不同', '的', '任務', '。', '例如', '：', '回答', '技術', '問題', '、', '提供', '建議', '、', '翻譯', '文字', '、', '尋找', '資料', '或', '協助', '您', '安排', '行程', '等', '。', '請', '告訴', '我', '如何', '能', '幫助', '您', '。']
# ['▁', '太', '棒', '了', '！']

文本生成可以通过generate和apply_chat_template函数完成：

>>> outputs = model.generate(tokenizer.apply_chat_template(chat, return_tensors="pt"),
>>>                          # 必要时调整以下参数
>>>                          max_new_tokens=128,
>>>                          top_p=0.01,
>>>                          top_k=85,
>>>                          repetition_penalty=1.1,
>>>                          temperature=0.01)
>>>                          
>>> print(tokenizer.decode(outputs[0]))

✨ 主要特性

Breeze-7B-Base-v1_0

• 词汇表大小从32k扩展到62k，更好地支持繁体中文。
• 具有8k的上下文长度。

Breeze-7B-Instruct-v1_0

• 词汇表大小从32k扩展到62k，更好地支持繁体中文。
• 具有8k的上下文长度。
• 支持多轮对话（未对有害内容进行特殊处理）。

📦 安装指南

在Transformers库中使用Breeze-7B模型的安装步骤如下：

1. 安装直接依赖项：

pip install transformers torch accelerate

2. 若要使用flash-attention2实现更快的推理速度，还需安装以下依赖项：

pip install packaging ninja
pip install flash-attn

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# 指令模型
model = AutoModelForCausalLM.from_pretrained(
    "MediaTek-Research/Breeze-7B-Instruct-v1_0",
    device_map="auto",
    torch_dtype=torch.bfloat16,
    # attn_implementation="flash_attention_2" # 可选
)

# 基础模型
model = AutoModelForCausalLM.from_pretrained(
    "MediaTek-Research/Breeze-7B-Base-v1_0",
    device_map="auto",
    torch_dtype=torch.bfloat16,
    # attn_implementation="flash_attention_2" # 可选
)

高级用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

tokenizer = AutoTokenizer.from_pretrained("MediaTek-Research/Breeze-7B-Instruct-v1_0")
chat = [
    {"role": "user", "content": "你好，請問你可以完成什麼任務？"},
    {"role": "assistant", "content": "你好，我可以幫助您解決各種問題、提供資訊和協助您完成許多不同的任務。例如：回答技術問題、提供建議、翻譯文字、尋找資料或協助您安排行程等。請告訴我如何能幫助您。"},
    {"role": "user", "content": "太棒了！"},
]

outputs = model.generate(tokenizer.apply_chat_template(chat, return_tensors="pt"),
                         # 必要时调整以下参数
                         max_new_tokens=128,
                         top_p=0.01,
                         top_k=85,
                         repetition_penalty=1.1,
                         temperature=0.01)

print(tokenizer.decode(outputs[0]))

📚 详细文档

模型详情

• Breeze-7B-Base-v1_0

  • 微调自：mistralai/Mistral-7B-v0.1
  • 模型类型：因果解码器型Transformer语言模型
  • 支持语言：英语和繁体中文（zh-tw）

• Breeze-7B-Instruct-v1_0

  • 微调自：MediaTek-Research/Breeze-7B-Base-v1_0
  • 模型类型：因果解码器型Transformer语言模型
  • 支持语言：英语和繁体中文（zh-tw）

模型性能

基础模型性能

我们将Breeze-7B-Base-v1_0与其他在中文任务上表现出色的同规模开源基础语言模型进行了比较。评估指标包括TMMLU+、DRCD、Table和MMLU。具体结果如下：

指令微调模型性能

我们将Breeze-7B-Instruct-v1_0与其他同规模的开源指令微调语言模型进行了比较，并列出了GPT-3.5 Turbo (1106)的基准分数作为参考。评估指标包括MT-Bench-tw、TMMLU+、Table、MT-Bench和MMLU。具体结果如下：

注：*Taiwan-LLM模型以繁体中文回答多轮英文问题。

MT-Bench-tw (0 shot)详情

TMMLU+ (0 shot)详情

推理性能

在推理性能测试中，我们使用这篇网络文章的前700个字符作为输入，要求模型重新生成相同的文章。所有推理均在2块RTX A6000 GPU上运行（使用vllm，张量并行大小为2）。具体结果如下：

演示

点击此处试用模型演示👩‍💻🧑🏻‍💻。

🔧 技术细节

评估数据集

• TMMLU+、DRCD、Table来源：MediaTek-Research/TCEval-v2，该数据集源自TCEval-v1和ikala/tmmluplus。
• MMLU来源：hails/mmlu_no_train。

评估代码

我们使用从EleutherAI/lm-evaluation-harness修改而来的代码来评估TMMLU+、DRCD、Table和MMLU。所有选择题均采用对数似然选择。对于MT-Bench-tw和MT-Bench，我们使用从fastchat llm_judge修改而来的代码（使用GPT4作为评判）进行评估。

📄 许可证

本项目采用Apache 2.0许可证。

引用

@article{MediaTek-Research2024breeze7b,
      title={Breeze-7B Technical Report}, 
      author={Chan-Jan Hsu and Chang-Le Liu and Feng-Ting Liao and Po-Chun Hsu and Yi-Chang Chen and Da-Shan Shiu},
      year={2024},
      eprint={2403.02712},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

本项目由以下成员（按姓氏字母顺序排列）完成：Chan-Jan Hsu 許湛然、Chang-Le Liu 劉昶樂、Feng-Ting Liao 廖峰挺、Po-Chun Hsu 許博竣、Yi-Chang Chen 陳宜昌，指导老师为Da-Shan Shiu 許大山。