Tinyllama 1.1B Alpaca Chat V1.5 GGUF

🚀 tog/TinyLlama-1.1B-alpaca-chat-v1.5-GGUF

本项目提供了来自 tog 的 TinyLlama-1.1B-alpaca-chat-v1.5 模型的量化 GGUF 文件。

模型信息

量化模型文件

📚 详细文档

原始模型卡片

本模型是在 PY007/TinyLlama-1.1B-intermediate-step-715k-1.5T 基础上微调得到的对话模型，使用的数据集是 tatsu-lab/stanford_alpaca。

下面是一个任务描述示例，你可以按照这个格式完成任务：

### 指令:
{指令内容}

### 回复:

💻 使用示例

基础用法

你可以使用 transformers 库来使用这个模型：

from transformers import AutoTokenizer
import transformers
import torch

model = "tog/TinyLlama-1.1B-alpaca-chat-v1.5"
tokenizer = AutoTokenizer.from_pretrained(model)

pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto")

sequences = pipeline(
    '###Instruction:\nWhat is a large language model? Be concise.\n\n### Response:\n',
    do_sample=True,
    top_k=10,
    num_return_sequences=1,
    eos_token_id=tokenizer.eos_token_id,
    max_length=200)

for seq in sequences:
    print(f"{seq['generated_text']}")

运行上述代码，你应该会得到类似下面的输出：

Setting `pad_token_id` to `eos_token_id`:2 for open-end generation.
结果: ### 指令:
什么是大语言模型？请简洁回答。

### 回复:
大语言模型是一种自然语言理解模型，它通过理解单词的上下文来学习准确识别和解释文本数据。用于文本理解的语言通常在文本数据语料库上进行训练。