Breeze 7B Base V0.1 GGUF

🚀 Breeze-7B-Base-v0.1-GGUF

本項目包含了聯發科研究院（MediaTek Research）的 Breeze-7B-Base-v0.1 模型的 GGUF 格式文件。GGUF 是一種新的模型格式，能讓模型在更多客戶端和庫中使用。Breeze-7B 模型專為繁體中文使用場景設計，在推理速度和性能表現上都有不錯的效果。

🚀 快速開始

安裝依賴

首先安裝直接依賴項：

pip install transformers torch accelerate

如果你想使用 flash-attention2 來加快推理速度，還需要安裝以下依賴項：

pip install packaging ninja
pip install flash-attn

加載模型

在 transformers 中加載模型：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    model="MediaTek-Research/Breeze-7B-Instruct-v0.1",
    device_map="auto",
    torch_dtype=torch.bfloat16,
    use_flash_attn_2=True # 可選
)

查詢模板結構

查詢模板的結構遵循 Mistral-7B-Instruct 的格式，如下所示：

<s> SYS_PROMPT   [INST] QUERY1 [/INST] RESPONSE1 [INST] QUERY2 [/INST]

其中，SYS_PROMPT、QUERY1、RESPONSE1 和 QUERY2 可以由用戶提供。

建議的默認系統提示

You are a helpful AI assistant built by MediaTek Research. The user you are helping speaks Traditional Chinese and comes from Taiwan.

✨ 主要特性

Breeze-7B-Base-v0.1

• 將詞彙表大小從 32k 擴展到 62k，以更好地支持繁體中文。
• 支持 8k 標記的上下文長度。

Breeze-7B-Instruct-v0.1

• 將詞彙表大小從 32k 擴展到 62k，以更好地支持繁體中文。
• 支持 8k 標記的上下文長度。
• 支持多輪對話（未對有害內容進行特殊處理）。

Breeze-7B-Instruct-64k-v0.1

• 將詞彙表大小從 32k 擴展到 62k，以更好地支持繁體中文。
• 支持 64k 標記的上下文長度，約相當於 88k 個繁體中文字符。
• 支持多輪對話（未對有害內容進行特殊處理）。

📚 詳細文檔

模型創建者

MediaTek Research

原始模型

Breeze-7B-Base-v0.1

關於 GGUF

GGUF 是 llama.cpp 團隊在 2023 年 8 月 21 日引入的一種新格式，它取代了不再被 llama.cpp 支持的 GGML 格式。以下是已知支持 GGUF 的客戶端和庫的不完全列表：

• llama.cpp：GGUF 的源項目，提供了命令行界面和服務器選項。
• text-generation-webui：最廣泛使用的 Web UI，具有許多功能和強大的擴展，支持 GPU 加速。
• KoboldCpp：功能齊全的 Web UI，支持所有平臺和 GPU 架構的 GPU 加速，特別適合講故事。
• GPT4All：一個免費開源的本地運行 GUI，支持 Windows、Linux 和 macOS，具備完整的 GPU 加速功能。
• LM Studio：一個易於使用且功能強大的本地 GUI，適用於 Windows 和 macOS（Silicon），支持 GPU 加速，截至 2023 年 11 月 27 日，Linux 版本處於測試階段。
• LoLLMS Web UI：一個很棒的 Web UI，具有許多有趣和獨特的功能，包括一個完整的模型庫，便於模型選擇。
• Faraday.dev：一個有吸引力且易於使用的基於角色的聊天 GUI，適用於 Windows 和 macOS（Silicon 和 Intel），支持 GPU 加速。
• llama-cpp-python：一個支持 GPU 加速、LangChain 和 OpenAI 兼容 API 服務器的 Python 庫。
• candle：一個專注於性能的 Rust ML 框架，包括 GPU 支持，且易於使用。
• ctransformers：一個支持 GPU 加速、LangChain 和 OpenAI 兼容 AI 服務器的 Python 庫。截至 2023 年 11 月 27 日，ctransformers 已有很長時間未更新，不支持許多最新的模型。

原始模型介紹

Breeze-7B 是一個基於 Mistral-7B 構建的語言模型家族，專門為繁體中文使用場景設計。

• Breeze-7B-Base：Breeze-7B 系列的基礎模型，如果你有大量的微調數據來針對特定用例進行微調，它是一個合適的選擇。
• Breeze-7B-Instruct：從 Breeze-7B-Base 基礎模型派生而來，可直接用於常見任務。
• Breeze-7B-Instruct-64k：是 Breeze-7B-Instruct 的一個略微修改版本，支持 64k 標記的上下文長度，可處理文檔級別的任務。

實用性表現

• Breeze-7B-Base：在原有詞彙表的基礎上增加了 30,000 個繁體中文標記。在其他條件相同的情況下，Breeze-7B 對繁體中文的推理速度是 Mistral-7B 和 Llama 7B 的兩倍。[詳見 推理性能。]
• Breeze-7B-Instruct：可直接用於常見任務，如問答、檢索式增強生成（RAG）、多輪聊天和摘要生成。
• Breeze-7B-Instruct-64k：能夠處理文檔級別的任務，而不僅僅是章節級別的任務。

性能表現

• Breeze-7B-Instruct：在繁體中文基準測試中表現出色，與同規模的開源模型（如 Taiwan-LLM-7B/13B-chat、QWen-7B-Chat 和 Yi-6B-Chat）相比具有優勢。[詳見 聊天模型性能。]
• Breeze-7B-Instruct：在 MMLU 和 MT-Bench 基準測試中與 Mistral-7B-Instruct-v0.1 表現相當。[詳見 聊天模型性能。]

項目成員

項目成員（按字母順序排列）：Chan-Jan Hsu 許湛然、Chang-Le Liu 劉昶樂、Feng-Ting Liao 廖峰挺、Po-Chun Hsu 許博竣、Yi-Chang Chen 陳宜昌，以及導師 Da-Shan Shiu 許大山。

🔧 技術細節

模型詳情

基礎模型性能

TMMLU+、DRCD 和 Table 的數據來源於 MediaTek-Research/TCEval-v2，該數據集派生自 TCEval-v1 和 ikala/tmmluplus。MMLU 的數據來源於 hails/mmlu_no_train。我們使用從 EleutherAI/lm-evaluation-harness 修改而來的代碼來評估 TMMLU+、DRCD、Table 和 MMLU。

注：* 少樣本學習無法有效地引導模型生成合適的答案。

聊天模型性能

TMMLU+、DRCD、Table 和 MT-Bench-tw 的數據來源於 MediaTek-Research/TCEval-v2，該數據集派生自 TCEval-v1 和 ikala/tmmluplus。MMLU 的數據來源於 hails/mmlu_no_train。MT-Bench 的數據來源於 lmsys/mt_bench_human_judgments。我們使用從 EleutherAI/lm-evaluation-harness 修改而來的代碼來評估 TMMLU+、DRCD、Table 和 MMLU。使用從 fastchat llm_judge（以 GPT4 作為評判）修改而來的代碼來評估 MT-Bench-tw 和 MT-Bench。

注：* 臺灣 LLM 模型以繁體中文回答多輪問題（英語）。

MT-Bench-tw（0 次提示）分類得分

TMMLU+（0 次提示）分類準確率

推理性能

在本次測試中，我們使用 這篇網絡文章 的前 700 個字符作為輸入，要求模型重新撰寫相同的文章。所有推理都在 2 塊 RTX A6000 GPU 上運行（使用 vllm，張量並行大小為 2）。

長上下文性能

待補充。

使用示例

待補充。

📄 許可證

本項目採用 Apache-2.0 許可證。