Rwkv Raven 3b

🚀 RWKV-4 | 30億參數聊天版本（Raven）模型卡片

RWKV是一個由Bo Peng領導的項目。你可以在Johan Wind的博客文章這裡和這裡瞭解更多關於模型架構的信息。還可以通過加入RWKV Discord服務器來深入瞭解該項目。

🚀 快速開始

模型簡介

以下是來自原始倉庫的描述：

RWKV是一種具有Transformer級大語言模型性能的循環神經網絡（RNN）。它可以像GPT一樣直接進行訓練（可並行化）。它融合了RNN和Transformer的優點——性能出色、推理速度快、節省顯存、訓練速度快、具有“無限”上下文長度，並且能免費生成句子嵌入。

✨ 主要特性

RWKV結合了RNN和Transformer的優勢，具備出色的性能、快速的推理速度、節省顯存、快速訓練、“無限”上下文長度以及免費的句子嵌入等特性。

📦 安裝指南

文檔未提及安裝相關內容，暫不提供。

💻 使用示例

基礎用法

將原始權重轉換為Hugging Face格式

你可以使用convert_rwkv_checkpoint_to_hf.py腳本，通過指定原始權重的倉庫ID、文件名和輸出目錄來進行轉換。你還可以選擇通過傳遞--push_to_hub標誌和--model_name參數，將轉換後的模型直接推送到Hugging Face Hub。

python convert_rwkv_checkpoint_to_hf.py --repo_id RAW_HUB_REPO --checkpoint_file RAW_FILE --output_dir OUTPUT_DIR --push_to_hub --model_name dummy_user/converted-rwkv

生成文本

你可以使用AutoModelForCausalLM和AutoTokenizer類從模型中生成文本。以下是在不同場景下運行模型的示例： “Raven”模型需要以特定方式進行提示，更多信息請參考集成博客文章。

高級用法

在CPU上運行模型

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("RWKV/rwkv-raven-3b")
tokenizer = AutoTokenizer.from_pretrained("RWKV/rwkv-raven-3b")

prompt = "\nIn a shocking finding, scientist discovered a herd of dragons living in a remote, previously unexplored valley, in Tibet. Even more surprising to the researchers was the fact that the dragons spoke perfect Chinese."

inputs = tokenizer(prompt, return_tensors="pt")
output = model.generate(inputs["input_ids"], max_new_tokens=40)
print(tokenizer.decode(output[0].tolist(), skip_special_tokens=True))

在單個GPU上運行模型

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("RWKV/rwkv-raven-3b").to(0)
tokenizer = AutoTokenizer.from_pretrained("RWKV/rwkv-raven-3b")

prompt = "\nIn a shocking finding, scientist discovered a herd of dragons living in a remote, previously unexplored valley, in Tibet. Even more surprising to the researchers was the fact that the dragons spoke perfect Chinese."

inputs = tokenizer(prompt, return_tensors="pt").to(0)
output = model.generate(inputs["input_ids"], max_new_tokens=40)
print(tokenizer.decode(output[0].tolist(), skip_special_tokens=True))

在GPU上以半精度運行模型

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("RWKV/rwkv-raven-3b", torch_dtype=torch.float16).to(0)
tokenizer = AutoTokenizer.from_pretrained("RWKV/rwkv-raven-3b")

prompt = "\nIn a shocking finding, scientist discovered a herd of dragons living in a remote, previously unexplored valley, in Tibet. Even more surprising to the researchers was the fact that the dragons spoke perfect Chinese."

inputs = tokenizer(prompt, return_tensors="pt").to(0)
output = model.generate(inputs["input_ids"], max_new_tokens=40)
print(tokenizer.decode(output[0].tolist(), skip_special_tokens=True))

在多個GPU上運行模型

# pip install accelerate
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("RWKV/rwkv-raven-3b", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("RWKV/rwkv-raven-3b")

prompt = "\nIn a shocking finding, scientist discovered a herd of dragons living in a remote, previously unexplored valley, in Tibet. Even more surprising to the researchers was the fact that the dragons spoke perfect Chinese."

inputs = tokenizer(prompt, return_tensors="pt").to(0)
output = model.generate(inputs["input_ids"], max_new_tokens=40)
print(tokenizer.decode(output[0].tolist(), skip_special_tokens=True))

📚 詳細文檔

模型架構的詳細信息可以在上述博客文章和Hugging Face集成博客文章中找到。

🔧 技術細節

文檔未提及技術細節相關內容，暫不提供。

📄 許可證

文檔未提及許可證相關內容，暫不提供。

📖 引用

如果你使用此模型，請考慮引用原始工作，原始倉庫鏈接為這裡。