Rwkv7 1.5B World

🚀 rwkv7-1.5B-world

這是一款基於flash-linear attention格式的RWKV-7模型，支持多種語言，可用於文本生成任務，在自然語言處理領域有廣泛應用。

🚀 快速開始

在使用該模型之前，需要安裝flash-linear-attention和最新版本的transformers：

pip install git+https://github.com/fla-org/flash-linear-attention
pip install 'transformers>=4.48.0'

✨ 主要特性

• 多語言支持：支持英語、中文、日語、韓語、法語、阿拉伯語、西班牙語和葡萄牙語。
• 模型類型：RWKV7
• 許可證：Apache-2.0

📦 安裝指南

安裝flash-linear-attention和最新版本的transformers：

pip install git+https://github.com/fla-org/flash-linear-attention
pip install 'transformers>=4.48.0'

💻 使用示例

基礎用法

你可以像使用其他HuggingFace模型一樣使用該模型：

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained('fla-hub/rwkv7-1.5B-world', trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained('fla-hub/rwkv7-1.5B-world', trust_remote_code=True)

model = model.cuda() # Supported on Nvidia/AMD/Intel eg. model.xpu()
prompt = "What is a large language model?"
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=4096,
    do_sample=True,
    temperature=1.0,
    top_p=0.3,
    repetition_penalty=1.2
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=False)[0]
print(response)

📚 詳細文檔

模型詳情

模型描述

• 開發者：Bo Peng, Yu Zhang, Songlin Yang, Ruichong Zhang
• 資助方：RWKV Project (Under LF AI & Data Foundation)
• 模型類型：RWKV7
• 支持語言（NLP）：英語、中文、日語、韓語、法語、阿拉伯語、西班牙語、葡萄牙語
• 許可證：Apache-2.0
• 參數數量：1.52B
• 分詞器：RWKV World tokenizer
• 詞彙量：65,536

模型資源

• 代碼倉庫：https://github.com/fla-org/flash-linear-attention ; https://github.com/BlinkDL/RWKV-LM
• 論文：https://huggingface.co/papers/2503.14456

訓練詳情

訓練數據

該模型在World v3上進行訓練，總共有3.119萬億個標記。

訓練超參數

• 訓練機制：bfloat16, 學習率從4e - 4到1e - 5進行“延遲”餘弦衰減，權重衰減為0.1（中間增加批量大小）
• 最終損失：1.9965
• 標記數量：3.119萬億

評估

評估指標

lambada_openai：

• 轉換前：困惑度4.13，準確率69.4%
• 轉換後：困惑度4.26，準確率68.8%（未應用模板）

常見問題解答

Q: safetensors元數據為空。 A: 將transformers升級到 >=4.48.0: pip install 'transformers>=4.48.0'

📄 許可證

本模型使用的許可證為Apache - 2.0。