Tinyllama 1.1B Chat V0.4

🚀 TinyLlama-1.1B

TinyLlamaプロジェクトは、3兆トークンで11億パラメータのLlamaモデルを事前学習することを目指しています。適切な最適化を行うことで、16台のA100-40G GPUを使用してわずか90日でこの目標を達成することができます🚀🚀。学習は2023年9月1日に開始されました。 このモデルはLlama 2とまったく同じアーキテクチャとトークナイザーを採用しているため、Llamaをベースに構築された多くのオープンソースプロジェクトでそのまま使用することができます。また、TinyLlamaはわずか11億のパラメータでコンパクトであり、計算とメモリ使用量が制限された多くのアプリケーションに対応することができます。

🚀 クイックスタート

このモデルは、TinyLlama/TinyLlama-1.1B-intermediate-step-715k-1.5Tをベースにファインチューニングされたチャットモデルです。使用されたデータセットはOpenAssistant/oasst_top1_2023-08-25で、chatml形式に従っています。

📦 インストール

transformersバージョン4.31以上が必要です。詳細な情報はGitHubページを確認してください。

💻 使用例

基本的な使用法

# 元のコードとコメントを保持
from transformers import AutoTokenizer
import transformers 
import torch
model = "PY007/TinyLlama-1.1B-Chat-v0.4"
tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto",
)

CHAT_EOS_TOKEN_ID = 32002

prompt = "How to get in a good university?"
formatted_prompt = (
    f"<|im_start|>user\n{prompt}<|im_end|>\n<|im_start|>assistant\n"
)


sequences = pipeline(
    formatted_prompt,
    do_sample=True,
    top_k=50,
    top_p = 0.9,
    num_return_sequences=1,
    repetition_penalty=1.1,
    max_new_tokens=1024,
    eos_token_id=CHAT_EOS_TOKEN_ID,
)

for seq in sequences:
    print(f"Result: {seq['generated_text']}")

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。