Breeze 7B Instruct V1 0

🚀 聯發科研究Breeze-7B-Instruct-v1_0模型卡片

聯發科研究的Breeze-7B是基於Mistral-7B構建的語言模型家族，專門為繁體中文使用場景設計。該模型家族在性能和實用性上表現出色，能滿足多種自然語言處理任務的需求。

🚀 快速開始

若要在Transformers庫中使用Breeze-7B模型，可按以下步驟操作：

1. 首先安裝直接依賴項：

pip install transformers torch accelerate

2. 若想使用flash-attention2實現更快的推理速度，還需安裝以下依賴項：

pip install packaging ninja
pip install flash-attn

3. 然後在transformers中加載模型：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# 指令模型
model = AutoModelForCausalLM.from_pretrained(
    "MediaTek-Research/Breeze-7B-Instruct-v1_0",
    device_map="auto",
    torch_dtype=torch.bfloat16,
    # attn_implementation="flash_attention_2" # 可選
)

# 基礎模型
model = AutoModelForCausalLM.from_pretrained(
    "MediaTek-Research/Breeze-7B-Base-v1_0",
    device_map="auto",
    torch_dtype=torch.bfloat16,
    # attn_implementation="flash_attention_2" # 可選
)

對於Breeze-7B-Instruct模型，查詢的結構如下：

<s>SYS_PROMPT  [INST] QUERY1 [/INST] RESPONSE1 [INST] QUERY2 [/INST] 

其中，SYS_PROMPT、QUERY1、RESPONSE1和QUERY2可由用戶提供。建議的默認SYS_PROMPT為：

You are a helpful AI assistant built by MediaTek Research. The user you are helping speaks Traditional Chinese and comes from Taiwan.

我們還將chat_template集成到了tokenizer_config.json中，因此可以使用apply_chat_template來獲取提示：

>>> from transformers import AutoTokenizer
>>> tokenizer = AutoTokenizer.from_pretrained("MediaTek-Research/Breeze-7B-Instruct-v1_0")
>>> chat = [
...   {"role": "user", "content": "你好，請問你可以完成什麼任務？"},
...   {"role": "assistant", "content": "你好，我可以幫助您解決各種問題、提供資訊和協助您完成許多不同的任務。例如：回答技術問題、提供建議、翻譯文字、尋找資料或協助您安排行程等。請告訴我如何能幫助您。"},
...   {"role": "user", "content": "太棒了！"},
... ]
>>> tokenizer.apply_chat_template(chat, tokenize=False)
"<s>You are a helpful AI assistant built by MediaTek Research. The user you are helping speaks Traditional Chinese and comes from Taiwan.  [INST] 你好，請問你可以完成什麼任務？ [/INST] 你好，我可以幫助您解決各種問題、提供資訊和協助您完成許多不同的任務。例如：回答技術問題、提供建議、翻譯文字、尋找資料或協助您安排行程等。請告訴我如何能幫助您。 [INST] 太棒了！ [/INST] "
# 分詞結果
# ['▁', '你好', '，', '請問', '你', '可以', '完成', '什麼', '任務', '？']
# ['▁', '你好', '，', '我', '可以', '幫助', '您', '解決', '各種', '問題', '、', '提供', '資訊', '和', '協助', '您', '完成', '許多', '不同', '的', '任務', '。', '例如', '：', '回答', '技術', '問題', '、', '提供', '建議', '、', '翻譯', '文字', '、', '尋找', '資料', '或', '協助', '您', '安排', '行程', '等', '。', '請', '告訴', '我', '如何', '能', '幫助', '您', '。']
# ['▁', '太', '棒', '了', '！']

文本生成可以通過generate和apply_chat_template函數完成：

>>> outputs = model.generate(tokenizer.apply_chat_template(chat, return_tensors="pt"),
>>>                          # 必要時調整以下參數
>>>                          max_new_tokens=128,
>>>                          top_p=0.01,
>>>                          top_k=85,
>>>                          repetition_penalty=1.1,
>>>                          temperature=0.01)
>>>                          
>>> print(tokenizer.decode(outputs[0]))

✨ 主要特性

Breeze-7B-Base-v1_0

• 詞彙表大小從32k擴展到62k，更好地支持繁體中文。
• 具有8k的上下文長度。

Breeze-7B-Instruct-v1_0

• 詞彙表大小從32k擴展到62k，更好地支持繁體中文。
• 具有8k的上下文長度。
• 支持多輪對話（未對有害內容進行特殊處理）。

📦 安裝指南

在Transformers庫中使用Breeze-7B模型的安裝步驟如下：

1. 安裝直接依賴項：

pip install transformers torch accelerate

2. 若要使用flash-attention2實現更快的推理速度，還需安裝以下依賴項：

pip install packaging ninja
pip install flash-attn

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# 指令模型
model = AutoModelForCausalLM.from_pretrained(
    "MediaTek-Research/Breeze-7B-Instruct-v1_0",
    device_map="auto",
    torch_dtype=torch.bfloat16,
    # attn_implementation="flash_attention_2" # 可選
)

# 基礎模型
model = AutoModelForCausalLM.from_pretrained(
    "MediaTek-Research/Breeze-7B-Base-v1_0",
    device_map="auto",
    torch_dtype=torch.bfloat16,
    # attn_implementation="flash_attention_2" # 可選
)

高級用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

tokenizer = AutoTokenizer.from_pretrained("MediaTek-Research/Breeze-7B-Instruct-v1_0")
chat = [
    {"role": "user", "content": "你好，請問你可以完成什麼任務？"},
    {"role": "assistant", "content": "你好，我可以幫助您解決各種問題、提供資訊和協助您完成許多不同的任務。例如：回答技術問題、提供建議、翻譯文字、尋找資料或協助您安排行程等。請告訴我如何能幫助您。"},
    {"role": "user", "content": "太棒了！"},
]

outputs = model.generate(tokenizer.apply_chat_template(chat, return_tensors="pt"),
                         # 必要時調整以下參數
                         max_new_tokens=128,
                         top_p=0.01,
                         top_k=85,
                         repetition_penalty=1.1,
                         temperature=0.01)

print(tokenizer.decode(outputs[0]))

📚 詳細文檔

模型詳情

• Breeze-7B-Base-v1_0

  • 微調自：mistralai/Mistral-7B-v0.1
  • 模型類型：因果解碼器型Transformer語言模型
  • 支持語言：英語和繁體中文（zh-tw）

• Breeze-7B-Instruct-v1_0

  • 微調自：MediaTek-Research/Breeze-7B-Base-v1_0
  • 模型類型：因果解碼器型Transformer語言模型
  • 支持語言：英語和繁體中文（zh-tw）

模型性能

基礎模型性能

我們將Breeze-7B-Base-v1_0與其他在中文任務上表現出色的同規模開源基礎語言模型進行了比較。評估指標包括TMMLU+、DRCD、Table和MMLU。具體結果如下：

指令微調模型性能

我們將Breeze-7B-Instruct-v1_0與其他同規模的開源指令微調語言模型進行了比較，並列出了GPT-3.5 Turbo (1106)的基準分數作為參考。評估指標包括MT-Bench-tw、TMMLU+、Table、MT-Bench和MMLU。具體結果如下：

注：*Taiwan-LLM模型以繁體中文回答多輪英文問題。

MT-Bench-tw (0 shot)詳情

TMMLU+ (0 shot)詳情

推理性能

在推理性能測試中，我們使用這篇網絡文章的前700個字符作為輸入，要求模型重新生成相同的文章。所有推理均在2塊RTX A6000 GPU上運行（使用vllm，張量並行大小為2）。具體結果如下：

演示

點擊此處試用模型演示👩‍💻🧑🏻‍💻。

🔧 技術細節

評估數據集

• TMMLU+、DRCD、Table來源：MediaTek-Research/TCEval-v2，該數據集源自TCEval-v1和ikala/tmmluplus。
• MMLU來源：hails/mmlu_no_train。

評估代碼

我們使用從EleutherAI/lm-evaluation-harness修改而來的代碼來評估TMMLU+、DRCD、Table和MMLU。所有選擇題均採用對數似然選擇。對於MT-Bench-tw和MT-Bench，我們使用從fastchat llm_judge修改而來的代碼（使用GPT4作為評判）進行評估。

📄 許可證

本項目採用Apache 2.0許可證。

引用

@article{MediaTek-Research2024breeze7b,
      title={Breeze-7B Technical Report}, 
      author={Chan-Jan Hsu and Chang-Le Liu and Feng-Ting Liao and Po-Chun Hsu and Yi-Chang Chen and Da-Shan Shiu},
      year={2024},
      eprint={2403.02712},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

本項目由以下成員（按姓氏字母順序排列）完成：Chan-Jan Hsu 許湛然、Chang-Le Liu 劉昶樂、Feng-Ting Liao 廖峰挺、Po-Chun Hsu 許博竣、Yi-Chang Chen 陳宜昌，指導老師為Da-Shan Shiu 許大山。