Tinyllama 1.1B Chat V0.1

🚀 TinyLlama-1.1B

TinyLlama項目旨在預訓練一個在3萬億個標記上訓練的11億參數的Llama模型。通過一些適當的優化，我們可以使用16張A100 - 40G GPU，在“僅”90天的時間內完成這一目標🚀🚀。訓練已於2023年9月1日開始。

🚀 快速開始

TinyLlama採用了與Llama 2完全相同的架構和分詞器。這意味著TinyLlama可以在許多基於Llama構建的開源項目中即插即用。此外，TinyLlama僅具有11億參數，體積小巧。這種緊湊性使其能夠滿足許多對計算和內存佔用有嚴格要求的應用場景。

本模型是在PY007/TinyLlama - 1.1B - intermediate - step - 240k - 503b基礎上進行微調的聊天模型。使用的數據集是openassistant - guananco。

使用時，你需要transformers>=4.31版本。更多信息請查看TinyLlama的GitHub頁面。

💻 使用示例

基礎用法

from transformers import AutoTokenizer
import transformers 
import torch
model = "PY007/TinyLlama-1.1B-Chat-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto",
)

prompt = "What are the values in open source projects?"
formatted_prompt = (
    f"### Human: {prompt}### Assistant:"
)


sequences = pipeline(
    formatted_prompt,
    do_sample=True,
    top_k=50,
    top_p = 0.7,
    num_return_sequences=1,
    repetition_penalty=1.1,
    max_new_tokens=500,
)
for seq in sequences:
    print(f"Result: {seq['generated_text']}")

📄 許可證

本項目採用Apache - 2.0許可證。

📦 訓練數據