Tinyllama V0

🚀 基於Llama架構重現TinyStories-1M項目

本項目是首次基於Llama架構重現roneneldan/TinyStories - 1M的版本。它旨在利用Llama架構實現TinyStories相關的訓練和應用，為相關研究和開發提供了一個新的嘗試。

🚀 快速開始

訓練流程

完整的訓練流程包含在train.ipynb筆記本中。要重現訓練過程，只需將TinyStoriesV2 - GPT4 - train.txt和TinyStoriesV2 - GPT4 - valid.txt下載到與筆記本相同的文件夾中，然後運行各個單元格即可。需要注意的是，腳本不會使用驗證內容，因此驗證文件中可以放置任意內容。

備份腳本

Backup目錄中有一個do_backup腳本，用於將權重從遠程機器複製到本地。由於權重生成速度極快，當腳本複製第N + 1個權重時，可能會出現一些情況。

演示腳本

演示腳本為demo.py。

驗證腳本

驗證腳本為valid.py，使用方式如下：

python valid.py path/to/TinyStoriesV2-GPT4-valid.txt [可選的模型ID或路徑]

訓練完成後，發現無需將驗證內容拆分成塊。

✨ 主要特性

訓練特性

• 這是一個非常早期的概念驗證（PoC）版本。訓練過程會截斷長度超過上下文大小的故事，並且不會使用任何滑動窗口從故事的非起始位置開始訓練。
• 在40GB的A100顯卡上，訓練大約需要9小時（每個epoch約3小時），大約使用30GB的顯存。

分詞器使用

使用open_llama_3b的分詞器。不過，在本地使用時遇到了一些問題（https://github.com/openlm - research/open_llama/issues/69），但在預裝了相關庫的雲機器上使用沒有問題。

緩存機制

此版本使用了一種簡單的緩存機制來打亂訓練故事：它會緩存最近加載的N個塊，因此當隨機打亂請求一個故事時，可能會使用緩存或加載新的塊。由於訓練數據集較小，後續版本將去除該機制。

📄 許可證

本項目採用Apache - 2.0許可證。

💻 使用示例

基礎用法

# 保持原始代碼和註釋不變
from transformers import AutoModelForCausalLM, AutoTokenizer