RWKV7 Goose World3 1.5B HF

🚀 rwkv7-1.47B-pile

这是一个基于Flash线性注意力格式的RWKV - 7模型，可用于文本生成任务，为自然语言处理提供强大的支持。

🚀 快速开始

在使用此模型之前，请先安装 flash-linear-attention（版本 <= 0.1.2）和最新版本的 transformers：

pip install --no-use-pep517 flash-linear-attention==0.1.2
pip install 'transformers>=4.48.0'

✨ 主要特性

• 基于RWKV - 7架构，采用Flash线性注意力格式。
• 支持英文文本处理。
• 拥有14.7亿参数，具备强大的文本生成能力。

📦 安装指南

安装 flash-linear-attention 和 transformers：

pip install --no-use-pep517 flash-linear-attention==0.1.2
pip install 'transformers>=4.48.0'

💻 使用示例

基础用法

你可以像使用其他HuggingFace模型一样使用此模型：

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained('fla-hub/rwkv7-1.47B-pile', trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained('fla-hub/rwkv7-1.47B-pile', trust_remote_code=True)

📚 详细文档

模型详情

• 开发者：Bo Peng、Yu Zhang、Songlin Yang、Ruichong Zhang
• 资助方：RWKV项目（隶属于LF AI & Data基金会）
• 模型类型：RWKV7
• 支持语言（NLP）：英文
• 许可证：Apache - 2.0
• 参数数量：14.7亿
• 分词器：GPT - NeoX 20B分词器

模型来源

• 仓库地址：https://github.com/fla-org/flash-linear-attention ; https://github.com/BlinkDL/RWKV-LM
• 论文：RWKV - 7 "Goose" with Expressive Dynamic State Evolution

训练详情

训练数据

该模型在Pile数据集上进行训练，数据集包含总计3320亿个标记。

评估

评估指标

• lambada_openai：困惑度（ppl）为4.80，准确率（acc）为67.0%
• piqa：准确率（acc）为73.5%

常见问题解答

Q：safetensors元数据为空。 A：将 transformers 升级到 >= 4.48.0：pip install 'transformers>=4.48.0'

📄 许可证

本模型使用Apache - 2.0许可证。