Llama3 TAIDE LX 8B Chat Alpha1

🚀 Llama3 TAIDE系列模型

TAIDE計畫旨在開發契合臺灣語言和文化特性的生成式AI對話引擎模型，Llama3 TAIDE系列模型在此基礎上，提升了正體中文回應能力與特定任務表現。

🚀 快速開始

在使用Llama3 TAIDE系列模型前，您需要先同意授權條款。點擊下方按鈕，填寫相關資訊，按下「送出(Submit)」即表示您同意Llama3-TAIDE 模型社群授權同意書與個人資料蒐集告知聲明。

⚠️ 重要提示

您需要先同意授權條款才能使用此模型。

✨ 主要特性

• 可信任性與適用性提升：嚴格把關模型的訓練資料，提升模型生成資料的可信任性和適用性。
• 辦公任務加強：針對自動摘要、寫信、寫文章、中翻英、英翻中等辦公室常用任務做加強。
• 在地知識強化：針對臺灣在地文化、用語、國情等知識做加強。
• 多輪問答能力：具備多輪問答對話能力。

📦 安裝指南

範例程式與文件後續會釋出到github，敬請期待。

💻 使用示例

基礎用法

一般問答用法：

chat = [
    {"role": "user", "content": "{question}"},
]
prompt = tokenizer.apply_chat_template(chat)

將 {question} 替換成使用者的輸入。

高級用法

加入 system prompt 的用法

chat = [
    {"role": "system", "content": "{sys}"},
    {"role": "user", "content": "{question}"},
]
prompt = tokenizer.apply_chat_template(chat)

將 {sys} 替換成指令，例如：你是一個來自臺灣的AI助理，你的名字是 TAIDE，樂於以臺灣人的立場幫助使用者，會用繁體中文回答問題。 將 {question} 替換成使用者的問題。

多輪問答用法

chat = [
    {"role": "system", "content": "{sys}"},
    {"role": "user", "content": "{question1}"},
    {"role": "assistant", "content": "{model_anwer_1}"},
    {"role": "user", "content": "{question2}"},
]
prompt = tokenizer.apply_chat_template(chat)

將 {sys} 替換成指令，例如：你是一個來自臺灣的AI助理，你的名字是 TAIDE，樂於以臺灣人的立場幫助使用者，會用繁體中文回答問題。 將 {question1} 替換成使用者的問題1。 將 {model_anwer_1} 替換成模型的回答1。 將 {question2} 替換成使用者的問題2。

更多細節請參考Llama3 文件。

📚 詳細文檔

模型簡介

TAIDE計畫致力於開發符合臺灣語言和文化特性的生成式人工智慧對話引擎模型，同時建構可信任的人工智慧環境。結合產學研能量，推動可信任生成式人工智慧的發展，提升臺灣在國際競爭中的地位，促進產業發展，避免對外國技術的依賴。

Llama3 TAIDE 系列模型以 Meta 公司釋出的 LLaMA3-8b 為基礎，導入臺灣不同領域可用的文本與訓練素材，提高模型在正體中文回應的能力與特定任務的表現。公開釋出的模型如下:

• Llama3-TAIDE-LX-8B-Chat-Alpha1：以 LLaMA3-8b 為基礎，使用繁體中文資料預訓練 (continuous pretraining)，並透過指令微調(instruction tuning)強化辦公室常用任務和多輪問答對話能力，適合聊天對話或任務協助的使用情境。Llama3-TAIDE-LX-8B-Chat-Alpha1 另外有提供4 bit 量化模型，量化模型主要是提供使用者的便利性，可能會影響效能與更多不可預期的問題，還請使用者理解與注意。

模型參數

應用範例

🔧 技術細節

訓練方法

軟硬體規格

• 國網中心 H100
• 訓練框架: PyTorch

資料前處理

• 字元標準化
• 去除重覆
• 去除雜訊
  • 網頁資料的html tag、javascript
  • 非標準字元或亂碼
  • 字數過短的文章
  • 去除文章中的特定格式，如為排版增加的換行
• 去除個資，如email、電話
• 去除不當文字，如賭博、色情等

持續預訓練 (continuous pretraining, CP)

• 補充大量來源可信賴的繁體中文知識
• 超參數 (hyper parameters)
  • optimizer: AdamW
  • learning rate: 1e-4
  • batch size: 1M tokens
  • epoch: 1

微調 (fine tune, FT)

• 讓模型可針對繁體中文提問回答問題
• 超參數 (hyper parameters)
  • optimizer: AdamW
  • learning rate: 5e-5
  • batch size: 256K tokens
  • epoch: 3

訓練資料

持續預訓練資料(資料量約為140G)

微調資料

TAIDE團隊訓練llama2系列模型來產生微調資料資料，產生的任務包含世界知識、創意寫作、普通常識、翻譯、摘要、程式、臺灣價值等單輪或多輪對話問答共 128K 筆。微調資料後續會對外釋出。

模型評測

taide-bench

• 評測資料
  • 寫文章、寫信、摘要、英翻中、中翻英，共500題
  • 資料連結: taide-bench
• 評測方法
  • gpt4評分
  • 評分程式: taide-bench-eval
• 評測分數 | 模型 | 中翻英 | 英翻中 | 摘要 | 寫文章 | 寫信 | 平均 | | ---- | ---- | ---- | ---- | ---- | ---- | ---- | | Llama3-TAIDE-LX-8B-Chat-Alpha1 | 7.770 | 8.280 | 8.495 | 9.605 | 8.950 | 8.620 | | GPT3.5 | 8.880 | 8.810 | 7.450 | 9.490 | 8.750 | 8.676 | | TAIDE-LX-7B-Chat | 7.165 | 7.685 | 7.720 | 9.635 | 9.110 | 8.263 | | LLAMA2 7B | 6.075 | 4.475 | 5.905 | 2.625 | 3.040 | 4.424 | | LLAMA2 13B | 6.480 | 6.135 | 6.110 | 2.565 | 3.000 | 4.858 | | LLAMA2 70B | 6.975 | 6.375 | 6.795 | 2.625 | 2.990 | 5.152 |

📄 許可證

本模型遵循Llama3-TAIDE 模型社群授權同意書。

其他說明

免責聲明

LLM 模型由於設計架構的限制，以及資料難免有偏誤，語言模型的任何回應不代表 TAIDE 立場，使用前需要額外加入安全防護機制，且回應內容也可能包含不正確的資訊，使用者請勿盡信。

開發團隊

https://taide.tw/index/teamList

相關連結

• TAIDE官網
• TAIDE Huggingface
• TAIDE Github
• Kuwa AI

Citation

TAIDE官網