Tinyllama 1.1B Chat V0.1

🚀 TinyLlama-1.1B

TinyLlamaプロジェクトは、3兆トークンで11億パラメータのLlamaモデルを事前学習することを目指しています。適切な最適化を行うことで、16台のA100 - 40G GPUを使ってわずか90日でこれを達成できます🚀🚀。学習は2023年9月1日に開始されました。

GitHubのリポジトリ

このモデルはLlama 2と全く同じアーキテクチャとトークナイザーを採用しています。これにより、TinyLlamaはLlamaをベースに構築された多くのオープンソースプロジェクトで即座に使用できます。さらに、TinyLlamaはわずか11億のパラメータでコンパクトであり、計算とメモリ使用量が制限された多くのアプリケーションに対応できます。

✨ 主な機能

• Llama 2と同じアーキテクチャとトークナイザーを採用。
• コンパクトな11億パラメータモデルで、計算とメモリ使用量が少ない。

📦 インストール

transformersバージョン4.31以上が必要です。詳細はGitHubページを確認してください。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer
import transformers 
import torch
model = "PY007/TinyLlama-1.1B-Chat-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto",
)

prompt = "What are the values in open source projects?"
formatted_prompt = (
    f"### Human: {prompt}### Assistant:"
)


sequences = pipeline(
    formatted_prompt,
    do_sample=True,
    top_k=50,
    top_p = 0.7,
    num_return_sequences=1,
    repetition_penalty=1.1,
    max_new_tokens=500,
)
for seq in sequences:
    print(f"Result: {seq['generated_text']}")

📚 ドキュメント

このモデルについて

このモデルは、PY007/TinyLlama-1.1B-intermediate-step-240k-503bをベースにファインチューニングされたチャットモデルです。使用されたデータセットはopenassistant - guanancoです。

トレーニングデータセット

• cerebras/SlimPajama - 627B
• bigcode/starcoderdata
• timdettmers/openassistant - guanaco

📄 ライセンス

このプロジェクトはApache - 2.0ライセンスの下で提供されています。