Tinyllama 1.1B Step 50K 105b

🚀 TinyLlama-1.1B

TinyLlama項目旨在在3萬億個標記上對一個11億參數的Llama模型進行預訓練。通過適當的優化，使用16塊A100 - 40G GPU，我們可以在“僅”90天內完成這一目標🚀🚀。訓練已於2023年9月1日開始。

🚀 快速開始

TinyLlama項目致力於在3萬億個標記上預訓練一個11億參數的Llama模型。藉助適當的優化策略，使用16塊A100 - 40G GPU，僅需90天即可完成訓練。你可以按照以下步驟開始使用：

from transformers import AutoTokenizer
import transformers 
import torch
model = "PY007/TinyLlama-1.1B-step-50K-105b"
tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto",
)

sequences = pipeline(
    'The TinyLlama project aims to pretrain a 1.1B Llama model on 3 trillion tokens. With some proper optimization, we can achieve this within a span of "just" 90 days using 16 A100-40G GPUs 🚀🚀. The training has started on 2023-09-01.',
    do_sample=True,
    top_k=10,
    num_return_sequences=1,
    repetition_penalty=1.5,
    eos_token_id=tokenizer.eos_token_id,
    max_length=500,
)
for seq in sequences:
    print(f"Result: {seq['generated_text']}")

⚠️ 重要提示

你需要transformers>=4.31版本。更多信息請查看 TinyLlama 的GitHub頁面。

✨ 主要特性

• 架構兼容：採用與Llama 2完全相同的架構和分詞器，這意味著TinyLlama可以無縫集成到許多基於Llama構建的開源項目中。
• 輕量級模型：僅有11億參數，非常適合對計算和內存要求有限的應用場景。

📚 詳細文檔

本模型

這是一個經過50000步、處理了1050億個標記後的中間檢查點模型。

發佈計劃

我們將按照以下計劃發佈中間檢查點。同時，為了便於比較，我們還列出了一些基線模型。

📄 許可證

本項目採用Apache-2.0許可證。