Taiwan LLM 13B V2.0 Chat GGUF

🚀 Taiwan-LLM-13B-v2.0-chat-GGUF - GGUF

Taiwan-LLM-13B-v2.0-chat-GGUF 是基于 LLaMa2-13b 的台湾大语言模型的 GGUF 格式模型文件，可用于文本生成。使用该模型需明确归功于优必达株式会社 Ubitus 以及原始作者。

🚀 快速开始

如需了解模型卡片元数据，请参考规范：https://github.com/huggingface/hub-docs/blob/main/modelcard.md?plain=1 文档/指南：https://huggingface.co/docs/hub/model-cards

✨ 主要特性

模型信息

关于 GGUF 格式

GGUF 是 llama.cpp 团队在 2023 年 8 月 21 日引入的一种新格式，它替代了不再受 llama.cpp 支持的 GGML 格式。

GGUF 的主要优点在于它是一种可扩展、面向未来的格式，能将更多关于模型的信息作为元数据存储。此外，它还显著改进了分词代码，首次实现了对特殊标记的全面支持，这有望提升性能，尤其是对于使用新特殊标记和自定义提示模板的模型。

截至 8 月 25 日，已知支持 GGUF 的客户端和库如下：

• llama.cpp
• text - generation - webui，这是最广泛使用的 Web UI，通过 ctransformers 后端支持 GGUF 并实现 GPU 加速，llama - cpp - python 后端也即将支持。
• KoboldCpp，从版本 1.41 开始支持 GGUF，这是一个强大的 GGML Web UI，具备完整的 GPU 加速功能，尤其适合用于讲故事。
• LM Studio，0.2.2 及更高版本支持 GGUF，这是一个功能齐全的本地 GUI，在 Windows（NVIDIA 和 AMD）和 macOS 上均支持 GPU 加速。
• LoLLMS Web UI，现在应该可以使用，选择 c_transformers 后端，这是一个拥有许多有趣功能的出色 Web UI，支持 CUDA GPU 加速。
• ctransformers，从 0.2.24 版本开始支持 GGUF，这是一个支持 GPU 加速、LangChain 以及兼容 OpenAI 的 AI 服务器的 Python 库。
• llama - cpp - python，从 0.1.79 版本开始支持 GGUF，这是一个支持 GPU 加速、LangChain 以及兼容 OpenAI 的 API 服务器的 Python 库。
• candle，于 8 月 22 日添加了对 GGUF 的支持，Candle 是一个 Rust ML 框架，注重性能（包括 GPU 支持）和易用性。

原始模型特性

• 训练数据：在 200 亿个繁体中文令牌上继续预训练，并在数百万个对话上进行指令微调，此版本不包含 CommonCrawl。
• 合作信息：本项目与 Ubitus K.K. 合作进行，Ubitus 为项目提供了宝贵的技术支持和计算资源。

📚 详细文档

原始模型卡片

🌟 查看新的 Taiwan - LLM 演示聊天界面 🌟

本模型基于 LLaMa2 - 13b，在 200 亿个繁体中文令牌上继续预训练，并在数百万个对话上进行指令微调，此版本不包含 CommonCrawl。

合作说明

本项目与 Ubitus K.K. 合作进行。Ubitus 为项目提供了宝贵的技术支持和计算资源。

重要提示

⚠️ 重要提示

使用 Taiwan LLM 必须明确地承认和归功于优必达株式会社 Ubitus 以及原始作者。