TAIDE LX 7B

🚀 模型TAIDE-LX-7B

TAIDE計畫聚焦於開發契合臺灣語言與文化特性的生成式AI對話引擎模型，同時構建可信任的AI環境。本模型以Meta公司的LLaMA2-7b為基礎，引入臺灣多領域文本與素材，提升正體中文回應能力和特定任務表現。

🚀 快速開始

您需要先同意授權條款才能使用此模型。授權相關詳情如下：

• 授權名稱：taide-l-models-community-license-agreement
• 授權連結：TAIDE L 類模型社群授權同意書

授權資訊填寫

若您希望使用此模型，需填寫以下資訊：

授權聲明

按下送出表示您同意社群授權同意書與個人資料蒐集告知聲明：

• TAIDE L 類模型社群授權同意書
• 個人資料蒐集告知聲明

提交按鈕

填寫完畢後，點擊「送出(Submit)」按鈕即可。

✨ 主要特性

• 強化繁體中文處理：額外擴充24720個中文字元、字詞，增強模型處理繁體中文的能力。
• 提升資料可信度：嚴格把關訓練資料，提高模型生成資料的可信任性和適用性。
• 加強常用任務能力：針對自動摘要、寫信、寫文章、中翻英、英翻中等辦公室常用任務做加強。
• 融入在地知識：針對臺灣在地文化、用語、國情等知識做加強。
• 支持多輪對話：具備多輪問答對話能力。

📦 安裝指南

範例程式與文件後續會釋出到github，敬請期待。

💻 使用示例

基礎用法

# tokenizer 必須設成 slow mode
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("taide/TAIDE-LX-7B-Chat", use_fast=False)

高級用法

一般問答用法

question = "您的問題"
prompt = f"<s>[INST] {question} [/INST]"

加入 system prompt 的用法

sys = "你是一個來自臺灣的AI助理，你的名字是 TAIDE，樂於以臺灣人的立場幫助使用者，會用繁體中文回答問題。"
question = "您的問題"
prompt = f"<s>[INST] <<SYS>>\n{sys}\n<</SYS>>\n\n{question} [/INST]"

多輪問答用法

sys = "你是一個來自臺灣的AI助理，你的名字是 TAIDE，樂於以臺灣人的立場幫助使用者，會用繁體中文回答問題。"
question1 = "您的問題1"
model_answer_1 = "模型的回答1"
question2 = "您的問題2"
prompt = f"<s>[INST] <<SYS>>\n{sys}\n<</SYS>>\n\n{question1} [/INST] {model_answer_1} </s><s>[INST] {question2} [/INST]"

Huggingface Chat 樣板 - 一般問答用法

question = "您的問題"
chat = [
    {"role": "user", "content": "{question}"},
]
prompt = tokenizer.apply_chat_template(chat)

Huggingface Chat 樣板 - 加入 system prompt 的用法

sys = "你是一個來自臺灣的AI助理，你的名字是 TAIDE，樂於以臺灣人的立場幫助使用者，會用繁體中文回答問題。"
question = "您的問題"
chat = [
    {"role": "system", "content": "{sys}"},
    {"role": "user", "content": "{question}"},
]
prompt = tokenizer.apply_chat_template(chat)

Huggingface Chat 樣板 - 多輪問答用法

sys = "你是一個來自臺灣的AI助理，你的名字是 TAIDE，樂於以臺灣人的立場幫助使用者，會用繁體中文回答問題。"
question1 = "您的問題1"
model_answer_1 = "模型的回答1"
question2 = "您的問題2"
chat = [
    {"role": "system", "content": "{sys}"},
    {"role": "user", "content": "{question1}"},
    {"role": "assistant", "content": "{model_answer_1}"},
    {"role": "user", "content": "{question2}"},
]
prompt = tokenizer.apply_chat_template(chat)

📚 詳細文檔

模型參數

應用範例

🔧 技術細節

訓練方法

軟硬體規格

• 國網中心 H100
• 訓練框架: PyTorch

資料前處理

• 字元標準化
• 去除重覆
• 去除雜訊
  • 網頁資料的html tag、javascript
  • 非標準字元或亂碼
  • 字數過短的文章
  • 去除文章中的特定格式，如為排版增加的換行
• 去除個資，如email、電話
• 去除不當文字，如賭博、色情等

擴充字元字詞

• 強化繁體中文輸入、輸出的效能，擴充資料包含下列2部分
  • 從教育部異體字字典正字表獲取中文字元
  • 從繁中維基百科、新聞、中文common crawl資料抽取 500 萬條超過 100 個字元的句子(2.1G)，訓練中文字詞的 tokenizer

持續預訓練 (continuous pretraining, CP)

• 補充大量來源可信賴的繁體中文知識
• 超參數 (hyper parameters)
  • optimizer: AdamW
  • learning rate: 1e-4
  • batch size: 1M tokens
  • epoch: 1

微調 (fine tune, FT)

• 讓模型可針對繁體中文提問回答問題
• 超參數 (hyper parameters)
  • optimizer: AdamW
  • learning rate: 5e-5
  • batch size: 256K tokens
  • epoch: 3

訓練資料

持續預訓練資料(資料量約為140G)

微調資料

TAIDE團隊訓練llama2系列模型來產生微調資料資料，產生的任務包含世界知識、創意寫作、普通常識、翻譯、摘要、程式、臺灣價值等單輪或多輪對話問答共 128K 筆。微調資料後續會對外釋出。

模型評測

taide-bench

• 評測資料
  • 寫文章、寫信、摘要、英翻中、中翻英，共500題
  • 資料連結: taide-bench
• 評測方法
  • gpt4評分
  • 評分程式: taide-bench-eval
• 評測分數 | 模型 | 中翻英 | 英翻中 | 摘要 | 寫文章 | 寫信 | 平均 | | --- | ----- | ----- | ---- | ---- | ---- | --- | | TAIDE-LX-7B-Chat | 7.165 | 7.685 | 7.720 | 9.635 | 9.110 | 8.263 | | GPT3.5 | 8.880 | 8.810 | 7.450 | 9.490 | 8.750 | 8.676 | | LLAMA2 7B | 6.075 | 4.475 | 5.905 | 2.625 | 3.040 | 4.424 | | LLAMA2 13B | 6.480 | 6.135 | 6.110 | 2.565 | 3.000 | 4.858 | | LLAMA2 70B | 6.975 | 6.375 | 6.795 | 2.625 | 2.990 | 5.152 |

📄 許可證

TAIDE L 類模型社群授權同意書

⚠️ 重要提示

LLM 模型由於設計架構的限制，以及資料難免有偏誤，語言模型的任何回應不代表 TAIDE 立場，使用前需要額外加入安全防護機制，且回應內容也可能包含不正確的資訊，使用者請勿盡信。

👥 開發團隊

開發團隊介紹

🔗 相關連結

• TAIDE官網
• TAIDE Huggingface
• TAIDE Github
• Kuwa AI

📚 Citation

TAIDE官網