Taiwan LLM 13B V2.0 Chat GGUF

🚀 Taiwan-LLM-13B-v2.0-chat-GGUF - GGUF

Taiwan-LLM-13B-v2.0-chat-GGUF 是基於 LLaMa2-13b 的臺灣大語言模型的 GGUF 格式模型文件，可用於文本生成。使用該模型需明確歸功於優必達株式會社 Ubitus 以及原始作者。

🚀 快速開始

如需瞭解模型卡片元數據，請參考規範：https://github.com/huggingface/hub-docs/blob/main/modelcard.md?plain=1 文檔/指南：https://huggingface.co/docs/hub/model-cards

✨ 主要特性

模型信息

關於 GGUF 格式

GGUF 是 llama.cpp 團隊在 2023 年 8 月 21 日引入的一種新格式，它替代了不再受 llama.cpp 支持的 GGML 格式。

GGUF 的主要優點在於它是一種可擴展、面向未來的格式，能將更多關於模型的信息作為元數據存儲。此外，它還顯著改進了分詞代碼，首次實現了對特殊標記的全面支持，這有望提升性能，尤其是對於使用新特殊標記和自定義提示模板的模型。

截至 8 月 25 日，已知支持 GGUF 的客戶端和庫如下：

• llama.cpp
• text - generation - webui，這是最廣泛使用的 Web UI，通過 ctransformers 後端支持 GGUF 並實現 GPU 加速，llama - cpp - python 後端也即將支持。
• KoboldCpp，從版本 1.41 開始支持 GGUF，這是一個強大的 GGML Web UI，具備完整的 GPU 加速功能，尤其適合用於講故事。
• LM Studio，0.2.2 及更高版本支持 GGUF，這是一個功能齊全的本地 GUI，在 Windows（NVIDIA 和 AMD）和 macOS 上均支持 GPU 加速。
• LoLLMS Web UI，現在應該可以使用，選擇 c_transformers 後端，這是一個擁有許多有趣功能的出色 Web UI，支持 CUDA GPU 加速。
• ctransformers，從 0.2.24 版本開始支持 GGUF，這是一個支持 GPU 加速、LangChain 以及兼容 OpenAI 的 AI 服務器的 Python 庫。
• llama - cpp - python，從 0.1.79 版本開始支持 GGUF，這是一個支持 GPU 加速、LangChain 以及兼容 OpenAI 的 API 服務器的 Python 庫。
• candle，於 8 月 22 日添加了對 GGUF 的支持，Candle 是一個 Rust ML 框架，注重性能（包括 GPU 支持）和易用性。

原始模型特性

• 訓練數據：在 200 億個繁體中文令牌上繼續預訓練，並在數百萬個對話上進行指令微調，此版本不包含 CommonCrawl。
• 合作信息：本項目與 Ubitus K.K. 合作進行，Ubitus 為項目提供了寶貴的技術支持和計算資源。

📚 詳細文檔

原始模型卡片

🌟 查看新的 Taiwan - LLM 演示聊天界面 🌟

本模型基於 LLaMa2 - 13b，在 200 億個繁體中文令牌上繼續預訓練，並在數百萬個對話上進行指令微調，此版本不包含 CommonCrawl。

合作說明

本項目與 Ubitus K.K. 合作進行。Ubitus 為項目提供了寶貴的技術支持和計算資源。

重要提示

⚠️ 重要提示

使用 Taiwan LLM 必須明確地承認和歸功於優必達株式會社 Ubitus 以及原始作者。