TAIDE LX 7B Chat

🚀 TAIDE計畫模型介紹

TAIDE計畫聚焦於開發契合臺灣語言與文化特性的生成式人工智慧對話引擎模型，同時構建可信任的人工智慧環境。通過整合產學研力量，推動可信任生成式人工智慧的發展，提升臺灣在國際競爭中的地位，促進產業發展，減少對外國技術的依賴。

🚀 快速開始

在使用本計畫開發的模型前，您需要先同意授權條款。授權條款相關信息如下：

• 授權協議名稱：taide-l-models-community-license-agreement
• 授權協議鏈接：TAIDE L 類模型社群授權同意書

您需要填寫以下信息以完成授權：

按下送出表示您同意社群授權同意書與個人資料蒐集告知聲明。相關文件鏈接如下：

• TAIDE L 類模型社群授權同意書(License)
• 個人資料蒐集告知聲明(Privacy policy)

✨ 主要特性

• 中文處理能力強化：額外擴充24720個中文字元、字詞，顯著強化模型處理繁體中文的能力。
• 資料可信任性高：嚴格把關模型的訓練資料，提升模型生成資料的可信任性和適用性。
• 常用任務加強：針對自動摘要、寫信、寫文章、中翻英、英翻中等辦公室常用任務做加強。
• 在地知識豐富：針對臺灣在地文化、用語、國情等知識做加強。
• 多輪對話能力：具備多輪問答對話能力。

📦 安裝指南

目前範例程式與文件後續會釋出到github，敬請期待。

💻 使用示例

基礎用法

tokenizer 設定

tokenizer = AutoTokenizer.from_pretrained("taide/TAIDE-LX-7B-Chat", use_fast=False)

一般問答用法

f"<s>[INST] {question} [/INST]"

需將 {question} 替換成使用者的輸入。

高級用法

加入 system prompt 的用法

f"<s>[INST] <<SYS>>\n{sys}\n<</SYS>>\n\n{question} [/INST]"

• 將 {sys} 替換成指令，例如：你是一個來自臺灣的AI助理，你的名字是 TAIDE，樂於以臺灣人的立場幫助使用者，會用繁體中文回答問題。
• 將 {question} 替換成使用者的問題。

多輪問答用法

f"<s>[INST] <<SYS>>\n{sys}\n<</SYS>>\n\n{question1} [/INST] {model_answer_1} </s><s>[INST] {question2} [/INST]"

• 將 {sys} 替換成指令。
• 將 {question1} 替換成使用者的問題1。
• 將 {model_anwer_1} 替換成模型的回答1。
• 將 {question2} 替換成使用者的問題2。

Huggingface Chat 樣板 - 一般問答用法

chat = [
    {"role": "user", "content": "{question}"},
]
prompt = tokenizer.apply_chat_template(chat)

需將 {question} 替換成使用者的輸入。

Huggingface Chat 樣板 - 加入 system prompt 的用法

chat = [
    {"role": "system", "content": "{sys}"},
    {"role": "user", "content": "{question}"},
]
prompt = tokenizer.apply_chat_template(chat)

• 將 {sys} 替換成指令。
• 將 {question} 替換成使用者的問題。

Huggingface Chat 樣板 - 多輪問答用法

chat = [
    {"role": "system", "content": "{sys}"},
    {"role": "user", "content": "{question1}"},
    {"role": "assistant", "content": "{model_anwer_1}"},
    {"role": "user", "content": "{question2}"},
]
prompt = tokenizer.apply_chat_template(chat)

• 將 {sys} 替換成指令。
• 將 {question1} 替換成使用者的問題1。
• 將 {model_anwer_1} 替換成模型的回答1。
• 將 {question2} 替換成使用者的問題2。

📚 詳細文檔

模型參數

應用範例

🔧 技術細節

訓練方法

軟硬體規格

• 國網中心 H100
• 訓練框架: PyTorch

資料前處理

• 字元標準化
• 去除重覆
• 去除雜訊
  • 網頁資料的html tag、javascript
  • 非標準字元或亂碼
  • 字數過短的文章
  • 去除文章中的特定格式，如為排版增加的換行
• 去除個資，如email、電話
• 去除不當文字，如賭博、色情等

擴充字元字詞

• 強化繁體中文輸入、輸出的效能，擴充資料包含下列2部分
  • 從教育部異體字字典正字表獲取中文字元
  • 從繁中維基百科、新聞、中文common crawl資料抽取 500 萬條超過 100 個字元的句子(2.1G)，訓練中文字詞的 tokenizer

持續預訓練 (continuous pretraining, CP)

• 補充大量來源可信賴的繁體中文知識
• 超參數 (hyper parameters)
  • optimizer: AdamW
  • learning rate: 1e-4
  • batch size: 1M tokens
  • epoch: 1

微調 (fine tune, FT)

• 讓模型可針對繁體中文提問回答問題
• 超參數 (hyper parameters)
  • optimizer: AdamW
  • learning rate: 5e-5
  • batch size: 256K tokens
  • epoch: 3

訓練資料

持續預訓練資料(資料量約為140G)

微調資料

TAIDE團隊訓練llama2系列模型來產生微調資料資料，產生的任務包含世界知識、創意寫作、普通常識、翻譯、摘要、程式、臺灣價值等單輪或多輪對話問答共 128K 筆。微調資料後續會對外釋出。

模型評測

taide-bench

• 評測資料
  • 寫文章、寫信、摘要、英翻中、中翻英，共500題
  • 資料連結: taide-bench
• 評測方法
  • gpt4評分
  • 評分程式: taide-bench-eval
• 評測分數 | 模型 | 中翻英 | 英翻中 | 摘要 | 寫文章 | 寫信 | 平均 | | --- | ----- | ----- | ---- | ---- | ---- | --- | | TAIDE-LX-7B-Chat | 7.165 | 7.685 | 7.720 | 9.635 | 9.110 | 8.263 | | GPT3.5 | 8.880 | 8.810 | 7.450 | 9.490 | 8.750 | 8.676 | | LLAMA2 7B | 6.075 | 4.475 | 5.905 | 2.625 | 3.040 | 4.424 | | LLAMA2 13B | 6.480 | 6.135 | 6.110 | 2.565 | 3.000 | 4.858 | | LLAMA2 70B | 6.975 | 6.375 | 6.795 | 2.625 | 2.990 | 5.152 |

📄 許可證

TAIDE L 類模型社群授權同意書

⚠️ 免責聲明

LLM 模型由於設計架構的限制，以及資料難免有偏誤，語言模型的任何回應不代表 TAIDE 立場，使用前需要額外加入安全防護機制，且回應內容也可能包含不正確的資訊，使用者請勿盡信。

👥 開發團隊

TAIDE開發團隊

🔗 相關連結

• TAIDE官網
• TAIDE Huggingface
• TAIDE Github
• Kuwa AI

📑 Citation

TAIDE官網