Tinyllama 1.1B 32k

🚀 TinyLlama-1.1B-32k

TinyLlama-1.1B-32k 是對 TinyLlama-1.1B 進行 32k 上下文微調的模型，通過增加 RoPE theta（RoPE 頻率基數）實現，旨在作為長上下文推測解碼模型使用。該模型基於 TinyLlama-1.1B 並在 togethercomputer/RedPajama-Data-1T-Sample 數據集上以 32768 的上下文長度進行進一步預訓練得到。

需要注意的是，使用的基礎檢查點來自提交 “final model” fad4f1a5cd0563ac41349b8fec2e6e51156568a0（該提交隨後被回滾），而非當前 TinyLlama-1.1B 主分支的 3T 檢查點。

由 turboderp 提供的 EXL2 量化模型

量化後的模型可以與一個 4.25bpw 的 70B 模型在單張 A6000 顯卡上以 32k 序列長度共同運行，並在推測解碼時顯著提升速度。

✨ 主要特性

模型評估

Wikitext 數據集困惑度（wikitext-2-raw-v1_train，64 行），通過 exllamav2 評估：

由 turboderp 在 HumanEval 數據集上的評估：

📄 許可證

本項目採用 Apache-2.0 許可證。