Tinyllama 1.1B Chat V0.4

🚀 TinyLlama-1.1B

TinyLlama項目旨在用3萬億個標記對一個11億參數的Llama模型進行預訓練。通過適當的優化，使用16塊A100 - 40G GPU，我們可以在“僅”90天內完成這一目標🚀🚀。訓練已於2023年9月1日啟動。該模型採用了與Llama 2完全相同的架構和分詞器，這意味著TinyLlama可以無縫集成到許多基於Llama構建的開源項目中。此外，TinyLlama僅擁有11億個參數，這種輕量級的特性使其能夠滿足對計算和內存要求較低的各種應用場景。

🚀 快速開始

本模型是在 TinyLlama/TinyLlama - 1.1B - intermediate - step - 715k - 1.5T 基礎上微調得到的聊天模型。使用的數據集是 OpenAssistant/oasst_top1_2023 - 08 - 25，遵循 chatml 格式。

你需要 transformers>=4.31 版本的庫。更多信息請查看 TinyLlama 的GitHub頁面。

💻 使用示例

基礎用法

from transformers import AutoTokenizer
import transformers 
import torch
model = "PY007/TinyLlama-1.1B-Chat-v0.4"
tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto",
)

CHAT_EOS_TOKEN_ID = 32002

prompt = "How to get in a good university?"
formatted_prompt = (
    f"<|im_start|>user\n{prompt}<|im_end|>\n<|im_start|>assistant\n"
)


sequences = pipeline(
    formatted_prompt,
    do_sample=True,
    top_k=50,
    top_p = 0.9,
    num_return_sequences=1,
    repetition_penalty=1.1,
    max_new_tokens=1024,
    eos_token_id=CHAT_EOS_TOKEN_ID,
)

for seq in sequences:
    print(f"Result: {seq['generated_text']}")

📄 許可證

本項目採用Apache 2.0許可證。

📦 訓練數據集