Tinyllama 1.1B Python V0.1

🚀 TinyLlama-1.1B

TinyLlama項目旨在預訓練一個在3萬億個標記上訓練的11億參數的Llama模型。通過適當的優化，使用16塊A100 - 40G GPU，我們可以在“僅”90天內完成這一目標🚀🚀。訓練已於2023年9月1日開始。該模型採用了與Llama 2完全相同的架構和分詞器，這意味著TinyLlama可以在許多基於Llama構建的開源項目中即插即用。此外，TinyLlama僅具有11億參數，這種輕量級的特性使其能夠適用於對計算和內存要求較低的眾多應用場景。

🚀 快速開始

項目鏈接：https://github.com/jzhang38/TinyLlama

✨ 主要特性

1. 預訓練目標宏大：目標是在3萬億個標記上預訓練一個11億參數的Llama模型。
2. 訓練效率高：通過優化，使用16塊A100 - 40G GPU可在90天內完成訓練。
3. 兼容性強：採用與Llama 2相同的架構和分詞器，可在基於Llama的開源項目中直接使用。
4. 模型輕量：僅11億參數，適用於對計算和內存要求較低的應用。
5. 多語言能力：雖然微調數據僅為Python，但模型在C、Java等其他語言上也保留了一定能力。
6. 可作為輔助模型：可作為草稿模型對CodeLlama系列等更大的模型進行推測解碼。

📚 詳細文檔

本模型詳情

此模型是基於5000億標記的TinyLlama檢查點，使用來自starcoderdata的另外70億條Python數據進行微調（或稱為繼續預訓練）得到的代碼語言模型。

儘管微調數據僅為Python，但該模型在C、Java等許多其他語言上仍保留了一定能力。

在HumanEval基準測試中的準確率為14%。

它可以作為草稿模型對CodeLlama系列等更大的模型進行推測解碼。

📄 許可證

本項目採用Apache - 2.0許可證。

📦 訓練數據