Taiwan LLM 7B V2.0.1 Chat GGUF

🚀 Taiwan-LLM-7B-v2.0.1-chat - GGUF

本項目提供基於LLaMa2-7b的Taiwan LLM模型的GGUF格式文件，可用於文本生成任務。使用該模型時，需明確承認並歸功於原始作者。

🚀 快速開始

如需瞭解模型卡片元數據，請參考規範：https://github.com/huggingface/hub-docs/blob/main/modelcard.md?plain=1 文檔/指南：https://huggingface.co/docs/hub/model-cards

模型信息

模型示例

A chat between a curious user and an artificial intelligence assistant.
The assistant gives helpful, detailed, and polite answers to the user's questions. 
USER: 你好，請問你可以幫我寫一封推薦信嗎？ ASSISTANT:

✨ 主要特性

模型相關

• 模型創建者：Yen-Ting Lin
• 原始模型：Taiwan-LLM-7B-v2.0.1-chat

模型描述

本倉庫包含Yen-Ting Lin的 基於LLaMa2-7b v2.0.1-chat的Taiwan LLM 的GGUF格式模型文件。使用Taiwan LLM必須明確地承認和歸功於原始作者。

關於GGUF

GGUF是llama.cpp團隊在2023年8月21日引入的一種新格式，它取代了GGML，且llama.cpp不再支持GGML。

GGUF的主要優點在於它是一種可擴展、面向未來的格式，能將更多關於模型的信息作為元數據存儲。它還顯著改進了分詞代碼，首次實現了對特殊標記的全面支持，這有望提升性能，特別是對於使用新特殊標記和自定義提示模板的模型。

截至8月25日，已知支持GGUF的客戶端和庫如下：

• llama.cpp
• text-generation-webui，最廣泛使用的Web UI，通過ctransformers後端支持GGUF的GPU加速，llama-cpp-python後端也即將支持。
• KoboldCpp，從版本1.41開始支持GGUF，這是一個強大的GGML Web UI，支持全GPU加速，尤其適合講故事。
• LM Studio，0.2.2及更高版本支持GGUF，這是一個功能齊全的本地GUI，在Windows（NVIDIA和AMD）和macOS上均支持GPU加速。
• LoLLMS Web UI，現在應該可以使用，選擇c_transformers後端，這是一個很棒的Web UI，有許多有趣的功能，支持CUDA GPU加速。
• ctransformers，從版本0.2.24開始支持GGUF，這是一個支持GPU加速、LangChain和OpenAI兼容AI服務器的Python庫。
• llama-cpp-python，從版本0.1.79開始支持GGUF，這是一個支持GPU加速、LangChain和OpenAI兼容API服務器的Python庫。
• candle，在8月22日添加了GGUF支持，Candle是一個Rust ML框架，注重性能（包括GPU支持）和易用性。

📚 詳細文檔

原始模型卡片

基於LLaMa2-7b的Taiwan LLM

該模型在200億繁體中文令牌上繼續預訓練，並在數百萬對話上進行指令微調。此版本不包含CommonCrawl數據。

🌟 查看新的 Taiwan-LLM演示聊天界面 🌟

📄 許可證

本模型使用的許可證為apache-2.0。