Tinyllama 1.1B Alpaca Chat V1.5 GGUF

🚀 tog/TinyLlama-1.1B-alpaca-chat-v1.5-GGUF

本項目提供了來自 tog 的 TinyLlama-1.1B-alpaca-chat-v1.5 模型的量化 GGUF 文件。

模型信息

量化模型文件

📚 詳細文檔

原始模型卡片

本模型是在 PY007/TinyLlama-1.1B-intermediate-step-715k-1.5T 基礎上微調得到的對話模型，使用的數據集是 tatsu-lab/stanford_alpaca。

下面是一個任務描述示例，你可以按照這個格式完成任務：

### 指令:
{指令內容}

### 回覆:

💻 使用示例

基礎用法

你可以使用 transformers 庫來使用這個模型：

from transformers import AutoTokenizer
import transformers
import torch

model = "tog/TinyLlama-1.1B-alpaca-chat-v1.5"
tokenizer = AutoTokenizer.from_pretrained(model)

pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto")

sequences = pipeline(
    '###Instruction:\nWhat is a large language model? Be concise.\n\n### Response:\n',
    do_sample=True,
    top_k=10,
    num_return_sequences=1,
    eos_token_id=tokenizer.eos_token_id,
    max_length=200)

for seq in sequences:
    print(f"{seq['generated_text']}")

運行上述代碼，你應該會得到類似下面的輸出：

Setting `pad_token_id` to `eos_token_id`:2 for open-end generation.
結果: ### 指令:
什麼是大語言模型？請簡潔回答。

### 回覆:
大語言模型是一種自然語言理解模型，它通過理解單詞的上下文來學習準確識別和解釋文本數據。用於文本理解的語言通常在文本數據語料庫上進行訓練。