Taiwan LLM 7B V2.0.1 Chat GGUF

🚀 Taiwan-LLM-7B-v2.0.1-chat - GGUF

本项目提供基于LLaMa2-7b的Taiwan LLM模型的GGUF格式文件，可用于文本生成任务。使用该模型时，需明确承认并归功于原始作者。

🚀 快速开始

如需了解模型卡片元数据，请参考规范：https://github.com/huggingface/hub-docs/blob/main/modelcard.md?plain=1 文档/指南：https://huggingface.co/docs/hub/model-cards

模型信息

模型示例

A chat between a curious user and an artificial intelligence assistant.
The assistant gives helpful, detailed, and polite answers to the user's questions. 
USER: 你好，請問你可以幫我寫一封推薦信嗎？ ASSISTANT:

✨ 主要特性

模型相关

• 模型创建者：Yen-Ting Lin
• 原始模型：Taiwan-LLM-7B-v2.0.1-chat

模型描述

本仓库包含Yen-Ting Lin的 基于LLaMa2-7b v2.0.1-chat的Taiwan LLM 的GGUF格式模型文件。使用Taiwan LLM必须明确地承认和归功于原始作者。

关于GGUF

GGUF是llama.cpp团队在2023年8月21日引入的一种新格式，它取代了GGML，且llama.cpp不再支持GGML。

GGUF的主要优点在于它是一种可扩展、面向未来的格式，能将更多关于模型的信息作为元数据存储。它还显著改进了分词代码，首次实现了对特殊标记的全面支持，这有望提升性能，特别是对于使用新特殊标记和自定义提示模板的模型。

截至8月25日，已知支持GGUF的客户端和库如下：

• llama.cpp
• text-generation-webui，最广泛使用的Web UI，通过ctransformers后端支持GGUF的GPU加速，llama-cpp-python后端也即将支持。
• KoboldCpp，从版本1.41开始支持GGUF，这是一个强大的GGML Web UI，支持全GPU加速，尤其适合讲故事。
• LM Studio，0.2.2及更高版本支持GGUF，这是一个功能齐全的本地GUI，在Windows（NVIDIA和AMD）和macOS上均支持GPU加速。
• LoLLMS Web UI，现在应该可以使用，选择c_transformers后端，这是一个很棒的Web UI，有许多有趣的功能，支持CUDA GPU加速。
• ctransformers，从版本0.2.24开始支持GGUF，这是一个支持GPU加速、LangChain和OpenAI兼容AI服务器的Python库。
• llama-cpp-python，从版本0.1.79开始支持GGUF，这是一个支持GPU加速、LangChain和OpenAI兼容API服务器的Python库。
• candle，在8月22日添加了GGUF支持，Candle是一个Rust ML框架，注重性能（包括GPU支持）和易用性。

📚 详细文档

原始模型卡片

基于LLaMa2-7b的Taiwan LLM

该模型在200亿繁体中文令牌上继续预训练，并在数百万对话上进行指令微调。此版本不包含CommonCrawl数据。

🌟 查看新的 Taiwan-LLM演示聊天界面 🌟

📄 许可证

本模型使用的许可证为apache-2.0。