🚀 TinyLlama/TinyLlama-1.1B-Chat-v0.4-GGUF

TinyLlama の TinyLlama-1.1B-Chat-v0.4 の量子化されたGGUFモデルファイルです。

📚 詳細ドキュメント

オリジナルのモデルカード

https://github.com/jzhang38/TinyLlama

TinyLlamaプロジェクトは、3兆トークンで11億パラメータのLlamaモデルを事前学習することを目指しています。適切な最適化を行うことで、16台のA100-40G GPUを使用して「わずか」90日でこれを達成することができます🚀🚀。学習は2023年9月1日に開始されました。

TinyLlamaは、Llama 2とまったく同じアーキテクチャとトークナイザーを採用しています。これは、TinyLlamaがLlamaをベースに構築された多くのオープンソースプロジェクトでそのまま使用できることを意味します。また、TinyLlamaはわずか11億パラメータとコンパクトです。このコンパクトさにより、限られた計算とメモリ使用量を要求する多くのアプリケーションに対応することができます。

このモデル

これは、TinyLlama/TinyLlama-1.1B-intermediate-step-715k-1.5T をベースに微調整されたチャットモデルです。使用されたデータセットは OpenAssistant/oasst_top1_2023-08-25 で、chatml 形式に従っています。

使い方

transformers>=4.31 が必要です。詳細な情報は TinyLlama のGitHubページを確認してください。

from transformers import AutoTokenizer
import transformers 
import torch
model = "PY007/TinyLlama-1.1B-Chat-v0.4"
tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto",
)

CHAT_EOS_TOKEN_ID = 32002

prompt = "How to get in a good university?"
formatted_prompt = (
    f"<|im_start|>user\n{prompt}<|im_end|>\n<|im_start|>assistant\n"
)


sequences = pipeline(
    formatted_prompt,
    do_sample=True,
    top_k=50,
    top_p = 0.9,
    num_return_sequences=1,
    repetition_penalty=1.1,
    max_new_tokens=1024,
    eos_token_id=CHAT_EOS_TOKEN_ID,
)

for seq in sequences:
    print(f"Result: {seq['generated_text']}")

📄 ライセンス

このモデルは apache-2.0 ライセンスの下で提供されています。

📦 モデル情報