RWKV-4-169m-pileオープンソース大規模言語モデル - RNNとTransformerの利点を兼ね備え、高速な推論と学習

ホーム

Rwkv 4 169m Pile

RWKVによって開発

RWKV-4はRNNとTransformerの利点を融合した大規模言語モデルで、高性能・高速推論・効率的な訓練が特徴

大規模言語モデル

Transformers

#RNN-Transformerハイブリッドアーキテクチャ #効率的な長文処理 #中国語言語生成

ダウンロード数 5,698

リリース時間 : 5/4/2023

モデル概要

RWKV-4は革新的な言語モデルアーキテクチャで、RNNの効率性とTransformerの強力な性能を組み合わせ、無限のコンテキスト長と無料の文埋め込みをサポート

モデル特徴

RNNとTransformerの融合

RNNの効率的なシーケンス処理とTransformerの並列訓練の利点を組み合わせ

効率的な推論

従来のTransformerモデルに比べて推論速度が速くVRAM要求が低い

無限コンテキスト長

RNNアーキテクチャの特性により、理論上無限長のコンテキスト処理をサポート

無料文埋め込み

高品質な文レベルの埋め込み表現を無料で取得可能

モデル能力

テキスト生成

言語モデリング

文埋め込み抽出

使用事例

コンテンツ作成

ストーリー続き

与えられた冒頭から一貫性のあるストーリー内容を自動生成

例では流暢な中国語のストーリー続き生成能力を示している

対話システム

チャットボット

流暢な対話インタラクションシステムを構築

🚀 RWKV-4 | Pileデータセットで学習された169Mパラメータのモデルカード

RWKVはBo Pengによって主導されているプロジェクトです。モデルアーキテクチャの詳細については、Johan Windのブログ記事こちらとこちらで学ぶことができます。また、RWKVディスコードサーバーに参加することで、このプロジェクトについてもっと詳しく知ることができます。

TL;DR

以下は元のリポジトリからの説明です。

RWKVは、トランスフォーマーレベルのLLM性能を持つRNNです。GPTのように直接学習することができます（並列化可能）。RNNとトランスフォーマーの良いところを兼ね備えており、優れた性能、高速な推論、VRAMの節約、高速な学習、「無限の」ctx_len、そして無料の文埋め込みが可能です。

✨ 主な機能

モデルのアーキテクチャの詳細は、上記のブログ記事とHugging Faceの統合に関するブログ記事で見ることができます。

💻 使用例

生の重みをHF形式に変換する

convert_rwkv_checkpoint_to_hf.py スクリプトを使用して、元の重みのrepo_id、ファイル名、および出力ディレクトリを指定することができます。また、オプションで --push_to_hub フラグと --model_name 引数を渡すことで、変換されたモデルを直接Hubにプッシュすることもできます。

python convert_rwkv_checkpoint_to_hf.py --repo_id RAW_HUB_REPO --checkpoint_file RAW_FILE --output_dir OUTPUT_DIR --push_to_hub --model_name dummy_user/converted-rwkv

テキスト生成

AutoModelForCausalLM と AutoTokenizer クラスを使用して、モデルからテキストを生成することができます。以下のセクションを展開して、さまざまなシナリオでモデルを実行する方法を理解してください。

基本的な使用法

CPUでモデルを実行する

クリックして展開

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("RWKV/rwkv-4-169m-pile")
tokenizer = AutoTokenizer.from_pretrained("RWKV/rwkv-4-169m-pile")

prompt = "\nIn a shocking finding, scientist discovered a herd of dragons living in a remote, previously unexplored valley, in Tibet. Even more surprising to the researchers was the fact that the dragons spoke perfect Chinese."

inputs = tokenizer(prompt, return_tensors="pt")
output = model.generate(inputs["input_ids"], max_new_tokens=40)
print(tokenizer.decode(output[0].tolist(), skip_special_tokens=True))

高度な使用法

単一のGPUでモデルを実行する

クリックして展開

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("RWKV/rwkv-4-169m-pile").to(0)
tokenizer = AutoTokenizer.from_pretrained("RWKV/rwkv-4-169m-pile")

prompt = "\nIn a shocking finding, scientist discovered a herd of dragons living in a remote, previously unexplored valley, in Tibet. Even more surprising to the researchers was the fact that the dragons spoke perfect Chinese."

inputs = tokenizer(prompt, return_tensors="pt").to(0)
output = model.generate(inputs["input_ids"], max_new_tokens=40)
print(tokenizer.decode(output[0].tolist(), skip_special_tokens=True))

半精度でGPU上でモデルを実行する

クリックして展開

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("RWKV/rwkv-4-169m-pile", torch_dtype=torch.float16).to(0)
tokenizer = AutoTokenizer.from_pretrained("RWKV/rwkv-4-169m-pile")

prompt = "\nIn a shocking finding, scientist discovered a herd of dragons living in a remote, previously unexplored valley, in Tibet. Even more surprising to the researchers was the fact that the dragons spoke perfect Chinese."

inputs = tokenizer(prompt, return_tensors="pt").to(0)
output = model.generate(inputs["input_ids"], max_new_tokens=40)
print(tokenizer.decode(output[0].tolist(), skip_special_tokens=True))

複数のGPUでモデルを実行する

クリックして展開

# pip install accelerate
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("RWKV/rwkv-4-169m-pile", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("RWKV/rwkv-4-169m-pile")

prompt = "\nIn a shocking finding, scientist discovered a herd of dragons living in a remote, previously unexplored valley, in Tibet. Even more surprising to the researchers was the fact that the dragons spoke perfect Chinese."

inputs = tokenizer(prompt, return_tensors="pt").to(0)
output = model.generate(inputs["input_ids"], max_new_tokens=40)
print(tokenizer.decode(output[0].tolist(), skip_special_tokens=True))