RWKV7 Goose World3 2.9B HF

🚀 rwkv7-2.9B-world

这是一个采用闪存线性注意力格式的RWKV - 7模型，可用于文本生成任务。

🚀 快速开始

在使用此模型之前，请安装flash-linear-attention <= 0.1.2和最新版本的transformers：

pip install --no-use-pep517 flash-linear-attention==0.1.2
pip install 'transformers>=4.48.0'

✨ 主要特性

• 支持多种语言，包括英语、中文、日语、韩语、法语、阿拉伯语、西班牙语和葡萄牙语。
• 采用闪存线性注意力格式，提升性能。
• 可用于文本生成任务。

📦 安装指南

在使用此模型之前，请安装flash-linear-attention <= 0.1.2和最新版本的transformers：

pip install --no-use-pep517 flash-linear-attention==0.1.2
pip install 'transformers>=4.48.0'

💻 使用示例

基础用法

你可以像使用其他HuggingFace模型一样使用此模型：

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained('fla-hub/rwkv7-2.9B-world', trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained('fla-hub/rwkv7-2.9B-world', trust_remote_code=True)
model = model.cuda()
prompt = "What is a large language model?"
messages = [
    {"role": "user", "content": "Who are you?"},
    {"role": "assistant", "content": "I am a GPT-3 based model."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=1024,
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=False)[0]
print(response)

📚 详细文档

模型详情

模型描述

• 开发者：Bo Peng、Yu Zhang、Songlin Yang、Ruichong Zhang
• 资助方：RWKV项目（隶属于LF AI & Data基金会）
• 模型类型：RWKV7
• 支持语言（NLP）：英语
• 许可证：Apache - 2.0
• 参数数量：29亿
• 分词器：RWKV World分词器
• 词汇表大小：65,536

模型来源

• 仓库：https://github.com/fla-org/flash-linear-attention ; https://github.com/BlinkDL/RWKV - LM
• 论文：RWKV - 7 "Goose" with Expressive Dynamic State Evolution

使用场景

此模型可直接使用，无需微调或集成到更大的生态系统/应用中。

训练数据

此模型在World v3数据集上进行训练，总共有3.119万亿个标记。

训练超参数

• 训练机制：bfloat16，学习率从4e - 4到1e - 5进行“延迟”余弦衰减，权重衰减为0.1（中间增加批量大小）
• 最终损失：1.8745
• 标记数量：3.119万亿

常见问题解答

Q：safetensors元数据为空。

A：将transformers升级到 >= 4.48.0：pip install 'transformers>=4.48.0'

📄 许可证

本模型采用Apache - 2.0许可证。