RWKV - Raven 1B5オープンソース大規模言語モデル - 無料かつ高効率なトレーニングと推論、無限のコンテキスト処理

ホーム

Rwkv Raven 1b5

RWKVによって開発

RWKVはRNNとTransformerの利点を組み合わせた大規模言語モデルで、効率的なトレーニングと高速な推論をサポートし、無限のコンテキスト長処理能力を備えています。

大規模言語モデル

Transformers

#RNN-Transformerハイブリッドアーキテクチャ #無限のコンテキスト長 #中国語会話最適化

ダウンロード数 428

リリース時間 : 5/4/2023

モデル概要

RWKV-4 Ravenは15億パラメータの大規模言語モデルで、独自のRNNとTransformerのハイブリッドアーキテクチャを採用し、チャットやテキスト生成タスクに最適化されています。

モデル特徴

ハイブリッドアーキテクチャの利点

RNNの効率性とTransformerの強力な性能を組み合わせ、並列トレーニングと高速推論をサポート

無限のコンテキスト長

RNNの特性により、理論的には無限の長さのコンテキストを処理可能

効率的なリソース利用

従来のTransformerモデルと比較し、トレーニングと推論時にVRAMを節約

モデル能力

中国語テキスト生成

対話システム

長文処理

使用事例

対話システム

インテリジェントチャットボット

自然な会話が可能な中国語チャットボットの構築

流暢でコンテキストに合った中国語応答を生成可能

コンテンツ作成

ストーリー続き

与えられた冒頭に基づき一貫性のあるストーリー内容を自動生成

想像力豊かなストーリー展開を生成可能

🚀 RWKV-4 | 1B5パラメータチャットバージョン (Raven) モデルカード

RWKVはBo Pengによって主導されるプロジェクトです。モデルアーキテクチャの詳細については、Johan Windのブログ記事こちらとこちらを参照してください。また、RWKVディスコードサーバーに参加することで、プロジェクトについてもっと学ぶことができます。

🚀 クイックスタート

要約

以下はオリジナルリポジトリからの説明です。

RWKVは、トランスフォーマーレベルの大規模言語モデル（LLM）性能を持つRNNです。GPTのように直接学習することができます（並列化可能）。RNNとトランスフォーマーの良いところを兼ね備えています - 優れた性能、高速推論、VRAMの節約、高速学習、「無限」のctx_len、そして無料の文埋め込み。

モデルの詳細

アーキテクチャの詳細は、上記のブログ記事とHugging Faceの統合ブログ記事に記載されています。

使用方法

生の重みをHF形式に変換する

convert_rwkv_checkpoint_to_hf.py スクリプトを使用して、元の重みのrepo_id、ファイル名、出力ディレクトリを指定することができます。また、オプションで --push_to_hub フラグと --model_name 引数を渡すことで、変換したモデルを直接Hubにプッシュすることもできます。

python convert_rwkv_checkpoint_to_hf.py --repo_id RAW_HUB_REPO --checkpoint_file RAW_FILE --output_dir OUTPUT_DIR --push_to_hub --model_name dummy_user/converted-rwkv

テキスト生成

AutoModelForCausalLM と AutoTokenizer クラスを使用して、モデルからテキストを生成することができます。以下のセクションを展開して、さまざまなシナリオでモデルを実行する方法を理解してください。 "Raven" モデルは特定の方法でプロンプトを与える必要があります。詳細については統合ブログ記事を参照してください。

CPUでモデルを実行する

展開するにはクリック

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("RWKV/rwkv-raven-1b5")
tokenizer = AutoTokenizer.from_pretrained("RWKV/rwkv-raven-1b5")

prompt = "\nIn a shocking finding, scientist discovered a herd of dragons living in a remote, previously unexplored valley, in Tibet. Even more surprising to the researchers was the fact that the dragons spoke perfect Chinese."

inputs = tokenizer(prompt, return_tensors="pt")
output = model.generate(inputs["input_ids"], max_new_tokens=40)
print(tokenizer.decode(output[0].tolist(), skip_special_tokens=True))

単一のGPUでモデルを実行する

展開するにはクリック

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("RWKV/rwkv-raven-1b5").to(0)
tokenizer = AutoTokenizer.from_pretrained("RWKV/rwkv-raven-1b5")

prompt = "\nIn a shocking finding, scientist discovered a herd of dragons living in a remote, previously unexplored valley, in Tibet. Even more surprising to the researchers was the fact that the dragons spoke perfect Chinese."

inputs = tokenizer(prompt, return_tensors="pt").to(0)
output = model.generate(inputs["input_ids"], max_new_tokens=40)
print(tokenizer.decode(output[0].tolist(), skip_special_tokens=True))

半精度でGPU上でモデルを実行する

展開するにはクリック

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("RWKV/rwkv-raven-1b5", torch_dtype=torch.float16).to(0)
tokenizer = AutoTokenizer.from_pretrained("RWKV/rwkv-raven-1b5")

prompt = "\nIn a shocking finding, scientist discovered a herd of dragons living in a remote, previously unexplored valley, in Tibet. Even more surprising to the researchers was the fact that the dragons spoke perfect Chinese."

inputs = tokenizer(prompt, return_tensors="pt").to(0)
output = model.generate(inputs["input_ids"], max_new_tokens=40)
print(tokenizer.decode(output[0].tolist(), skip_special_tokens=True))

複数のGPUでモデルを実行する

展開するにはクリック

# pip install accelerate
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("RWKV/rwkv-raven-1b5", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("RWKV/rwkv-raven-1b5")

prompt = "\nIn a shocking finding, scientist discovered a herd of dragons living in a remote, previously unexplored valley, in Tibet. Even more surprising to the researchers was the fact that the dragons spoke perfect Chinese."

inputs = tokenizer(prompt, return_tensors="pt").to(0)
output = model.generate(inputs["input_ids"], max_new_tokens=40)
print(tokenizer.decode(output[0].tolist(), skip_special_tokens=True))