Tinyllama 1.1B Alpaca Chat V1.5 GGUF

🚀 tog/TinyLlama-1.1B-alpaca-chat-v1.5-GGUF

tog が提供する TinyLlama-1.1B-alpaca-chat-v1.5 の量子化されたGGUFモデルファイルです。

📚 ドキュメント

元のモデルカード

このモデル

これは PY007/TinyLlama-1.1B-intermediate-step-715k-1.5T の上でファインチューニングされたチャットモデルです。使用されたデータセットは tatsu-lab/stanford_alpaca です。

以下はタスクを説明する指示です。要求を適切に完了する応答を書いてください。

### 指示:
{指示内容}

### 応答:

transformers ライブラリを使用してこのモデルを利用できます。

from transformers import AutoTokenizer
import transformers
import torch

model = "tog/TinyLlama-1.1B-alpaca-chat-v1.5"
tokenizer = AutoTokenizer.from_pretrained(model)

pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto")

sequences = pipeline(
    '###Instruction:\nWhat is a large language model? Be concise.\n\n### Response:\n',
    do_sample=True,
    top_k=10,
    num_return_sequences=1,
    eos_token_id=tokenizer.eos_token_id,
    max_length=200)

for seq in sequences:
    print(f"{seq['generated_text']}")

以下のような結果が得られるはずです。

Setting `pad_token_id` to `eos_token_id`:2 for open-end generation.
Result: ###Instruction:
What is a large language model? Be concise.

### Response:
A large language model is a type of natural language understanding model that can learn to accurately recognize and interpret text data by understanding the context of words. Languages used for text understanding are typically trained on a corpus of text data.

📄 ライセンス

このモデルのライセンスは apache-2.0 です。

📦 モデル情報