RWKV7 Goose Pile 168M HF

🚀 rwkv7-168M-pile

這是一個基於flash-linear注意力格式的RWKV-7模型，可用於文本生成任務，為英文文本處理提供支持。

🚀 快速開始

在使用此模型之前，需要安裝 flash-linear-attention（版本 <= 0.1.2）和最新版本的 transformers：

pip install --no-use-pep517 flash-linear-attention==0.1.2
pip install 'transformers>=4.48.0'

✨ 主要特性

• 基於RWKV-7架構，採用flash-linear注意力格式。
• 支持英文文本生成任務。
• 擁有168M參數，使用GPT-NeoX 20B分詞器。

📦 安裝指南

安裝 flash-linear-attention <= 0.1.2 和最新版本的 transformers：

pip install --no-use-pep517 flash-linear-attention==0.1.2
pip install 'transformers>=4.48.0'

💻 使用示例

基礎用法

你可以像使用其他HuggingFace模型一樣使用此模型：

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained('fla-hub/rwkv7-168M-pile', trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained('fla-hub/rwkv7-168M-pile', trust_remote_code=True)

📚 詳細文檔

模型詳情

模型描述

• 開發者：Bo Peng, Yu Zhang, Songlin Yang, Ruichong Zhang
• 資助方：RWKV項目（隸屬於LF AI & Data基金會）
• 模型類型：RWKV7
• 語言（NLP）：英文
• 許可證：Apache-2.0
• 參數數量：168M
• 分詞器：GPT-NeoX 20B分詞器

模型來源

• 倉庫：https://github.com/fla-org/flash-linear-attention ; https://github.com/BlinkDL/RWKV-LM
• 論文：RWKV-7 "Goose" with Expressive Dynamic State Evolution
• 權重：從 https://modelscope.cn/models/RWKV/rwkv-7-pile/file/view/master?fileName=RWKV-x070-Pile-168M-20241120-ctx4096.pth 轉換而來

使用方式

直接使用

此模型可以像其他HuggingFace模型一樣直接使用。

訓練詳情

訓練數據

該模型在Pile數據集上進行訓練，數據集共有3320億個標記。

訓練超參數

• 訓練機制：bfloat16，學習率從8e-4到3e-5採用餘弦衰減，權重衰減為0.1，批次大小為8x30x4096

評估

評估指標

• lambada_openai：困惑度（ppl）為14.2，準確率（acc）為45.6%
• piqa：準確率（acc）為65.5%

常見問題解答

Q：safetensors元數據為空。 A：將 transformers 升級到 >=4.48.0：pip install 'transformers>=4.48.0'

📄 許可證

本模型使用Apache-2.0許可證。