Taiwan LLM 7B V2.0.1 Chat GGUF

🚀 臺灣大語言模型7B v2.0.1聊天版

臺灣大語言模型是一款專為繁體中文設計的先進語言模型，著重考慮了臺灣地區的語言和文化背景。它基於一個大型基礎模型開發，融入了豐富多樣的臺灣文本資源，並通過有監督的微調進行優化。該模型在語言理解和生成方面表現出色，緊密貼合臺灣的文化特色。在諸如TC - Eval等各類基準測試中，它展現出了卓越的上下文理解能力和文化相關性。若需深入瞭解臺灣大語言模型的開發過程和特性，請參考我們的技術報告。

🚀 快速開始

你可以使用🤗 Transformers庫中的pipeline()函數來運行該模型：

# pip install transformers>=4.34
# pip install accelerate

import torch
from transformers import pipeline

pipe = pipeline("text-generation", model="yentinglin/Taiwan-LLM-7B-v2.0.1-chat", torch_dtype=torch.bfloat16, device_map="auto")

# We use the tokenizer's chat template to format each message - see https://huggingface.co/docs/transformers/main/en/chat_templating
messages = [
    {
        "role": "system",
        "content": "你是一個人工智慧助理",
    },
    {"role": "user", "content": "東北季風如何影響臺灣氣候？"},
]
prompt = pipe.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipe(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])

✨ 主要特性

• 專為繁體中文設計，聚焦臺灣地區的語言和文化背景。
• 基於大型基礎模型，融入豐富臺灣文本資源並經有監督微調優化。
• 在語言理解和生成方面表現出色，緊密貼合臺灣文化特色。
• 在TC - Eval等基準測試中展現出良好的上下文理解能力和文化相關性。

📦 模型信息

模型描述

模型來源

• 倉庫地址：https://github.com/MiuLab/Taiwan-LLaMa
• 演示地址：https://twllm.com/

📈 性能表現

🔧 技術細節

訓練超參數

訓練過程中使用了以下超參數：

• 學習率：5e - 05
• 分佈式類型：多GPU
• 優化器：Adam，β值為(0.9, 0.999)，ε值為1e - 08
• 學習率調度器類型：餘弦
• 學習率調度器預熱比例：0.03
• 訓練輪數：5.0

📄 許可證

本模型採用Apache - 2.0許可證。

📖 引用說明

如果您在工作中發現臺灣大語言模型很有用，請使用以下方式引用：

@misc{lin2023taiwan,
      title={Taiwan LLM: Bridging the Linguistic Divide with a Culturally Aligned Language Model}, 
      author={Yen - Ting Lin and Yun - Nung Chen},
      year={2023},
      eprint={2311.17487},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

🌟 點擊查看臺灣大語言模型演示聊天界面 🌟