# 輕量級Llama

MicroLlama是一個由個人開發者keeeeenw在500美元預算內預訓練的3億參數Llama模型，專注於英語文本生成任務。

TinyLlama是一個11億參數的小型語言模型，採用與Llama 2相同的架構和分詞器，適用於資源有限的應用場景。

TinyLlama是一個11億參數的緊湊型語言模型，採用與Llama 2相同的架構和分詞器，適用於計算和內存資源有限的應用場景。

TinyLlama是一個11億參數的小型語言模型，採用與Llama 2相同的架構和分詞器，適用於資源受限的應用場景。

LiteLlama-460M-1T 是一個輕量級的混合專家模型，包含512位專家，適用於高效推理和文本生成任務。

基於TinyLlama-1.1B-Chat-v1.0微調的醫療領域問答模型，針對醫療文本和問答場景優化

TinyLlama是一個1.1B參數的Llama模型，預訓練使用了3萬億標記，旨在提供緊湊高效的文本生成能力。

TinyLlama是一個1.1B參數的小型Llama模型，在3萬億token上預訓練，設計用於資源有限的環境。

小羊駝是一個11億參數的Llama模型，通過3萬億token預訓練而成，適合計算和內存受限的場景。

TinyLlama是一個1.1B參數的Llama模型，計劃在3萬億token上進行預訓練，優化後可在16塊A100-40G GPU上90天內完成訓練。