V5 Eagle 7B HF

🚀 Huggingface RWKV - 5 Eagle 7B模型

本項目是基於Huggingface Transformers庫實現的RWKV - 5 Eagle 7B模型。它能為自然語言處理任務提供強大的支持，可在CPU和GPU上運行，還支持批量推理。

🚀 快速開始

重要提示

⚠️ 重要提示

以下是RWKV - 5 Eagle 7B模型的Huggingface Transformers實現，此實現僅適用於Huggingface Transformers庫。

若要獲取完整的模型權重以用於其他RWKV庫，請參考[此處](https://huggingface.co/RWKV/v5 - Eagle - 7B)。

這不是一個經過指令微調的模型！（很快會有...）

相關鏈接

• [HF演示](https://huggingface.co/spaces/BlinkDL/RWKV - Gradio - 2)
• 項目維基
• [pth模型權重](https://huggingface.co/RWKV/v5 - Eagle - 7B)

模型運行示例

在CPU上通過HF Transformers運行

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

def generate_prompt(instruction, input=""):
    instruction = instruction.strip().replace('\r\n','\n').replace('\n\n','\n')
    input = input.strip().replace('\r\n','\n').replace('\n\n','\n')
    if input:
        return f"""Instruction: {instruction}

Input: {input}

Response:"""
    else:
        return f"""User: hi

Assistant: Hi. I am your assistant and I will provide expert full response in full details. Please feel free to ask any question and I will always answer it.

User: {instruction}

Assistant:"""


model = AutoModelForCausalLM.from_pretrained("RWKV/HF_v5-Eagle-7B", trust_remote_code=True).to(torch.float32)
tokenizer = AutoTokenizer.from_pretrained("RWKV/HF_v5-Eagle-7B", trust_remote_code=True)

text = "請介紹北京的旅遊景點"
prompt = generate_prompt(text)

inputs = tokenizer(prompt, return_tensors="pt")
output = model.generate(inputs["input_ids"], max_new_tokens=333, do_sample=True, temperature=1.0, top_p=0.3, top_k=0, )
print(tokenizer.decode(output[0].tolist(), skip_special_tokens=True))

輸出示例：

User: hi

Assistant: Hi. I am your assistant and I will provide expert full response in full details. Please feel free to ask any question and I will always answer it.

User: 請介紹北京的旅遊景點

Assistant: 北京是中國的首都，擁有眾多的旅遊景點，以下是其中一些著名的景點：
1. 故宮：位於北京市中心，是明清兩代的皇宮，內有大量的文物和藝術品。
2. 天安門廣場：是中國最著名的廣場之一，是中國人民政治協商會議的舊址，也是中國人民政治協商會議的中心。
3. 頤和園：是中國古代皇家園林之一，有著悠久的歷史和豐富的文化內涵。
4. 長城：是中國古代的一道長城，全長約萬里，是中國最著名的旅遊景點之一。
5. 北京大學：是中國著名的高等教育機構之一，有著悠久的歷史和豐富的文化內涵。
6. 北京動物園：是中國最大的動物園之一，有著豐富的動物資源和豐富的文化內涵。
7. 故宮博物院：是中國最著名的博物館之一，收藏了大量的文物和藝術品，是中國最重要的文化遺產之一。
8. 天壇：是中國古代皇家

在GPU上通過HF Transformers運行

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

def generate_prompt(instruction, input=""):
    instruction = instruction.strip().replace('\r\n','\n').replace('\n\n','\n')
    input = input.strip().replace('\r\n','\n').replace('\n\n','\n')
    if input:
        return f"""Instruction: {instruction}

Input: {input}

Response:"""
    else:
        return f"""User: hi

Assistant: Hi. I am your assistant and I will provide expert full response in full details. Please feel free to ask any question and I will always answer it.

User: {instruction}

Assistant:"""


model = AutoModelForCausalLM.from_pretrained("RWKV/HF_v5-Eagle-7B", trust_remote_code=True, torch_dtype=torch.float16).to(0)
tokenizer = AutoTokenizer.from_pretrained("RWKV/HF_v5-Eagle-7B", trust_remote_code=True)

text = "介紹一下大熊貓"
prompt = generate_prompt(text)

inputs = tokenizer(prompt, return_tensors="pt").to(0)
output = model.generate(inputs["input_ids"], max_new_tokens=128, do_sample=True, temperature=1.0, top_p=0.3, top_k=0, )
print(tokenizer.decode(output[0].tolist(), skip_special_tokens=True))

輸出示例：

User: hi

Assistant: Hi. I am your assistant and I will provide expert full response in full details. Please feel free to ask any question and I will always answer it.

User: 介紹一下大熊貓

Assistant: 大熊貓是一種中國特有的哺乳動物，也是中國的國寶之一。它們的外貌特徵是圓形的黑白相間的身體，有著黑色的毛髮和白色的耳朵。大熊貓的食物主要是竹子，它們會在竹林中尋找竹子，並且會將竹子放在竹籠中進行儲存。大熊貓的壽命約為20至30年，但由於棲息地的喪失和人類活動的

批量推理

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

def generate_prompt(instruction, input=""):
    instruction = instruction.strip().replace('\r\n', '\n').replace('\n\n', '\n')
    input = input.strip().replace('\r\n', '\n').replace('\n\n', '\n')
    if input:
        return f"""Instruction: {instruction}

Input: {input}

Response:"""
    else:
        return f"""User: hi

Assistant: Hi. I am your assistant and I will provide expert full response in full details. Please feel free to ask any question and I will always answer it.

User: {instruction}

Assistant:"""

model = AutoModelForCausalLM.from_pretrained("RWKV/HF_v5-Eagle-7B", trust_remote_code=True).to(torch.float32)
tokenizer = AutoTokenizer.from_pretrained("RWKV/HF_v5-Eagle-7B", trust_remote_code=True)

texts = ["請介紹北京的旅遊景點", "介紹一下大熊貓", "烏蘭察布"]
prompts = [generate_prompt(text) for text in texts]

inputs = tokenizer(prompts, return_tensors="pt", padding=True)
outputs = model.generate(inputs["input_ids"], max_new_tokens=128, do_sample=True, temperature=1.0, top_p=0.3, top_k=0, )

for output in outputs:
    print(tokenizer.decode(output.tolist(), skip_special_tokens=True))

輸出示例：

User: hi

Assistant: Hi. I am your assistant and I will provide expert full response in full details. Please feel free to ask any question and I will always answer it.

User: 請介紹北京的旅遊景點

Assistant: 北京是中國的首都，擁有豐富的旅遊資源和歷史文化遺產。以下是一些北京的旅遊景點：
1. 故宮：位於北京市中心，是明清兩代的皇宮，是中國最大的古代宮殿建築群之一。
2. 天安門廣場：位於北京市中心，是中國最著名的城市廣場之一，也是中國最大的城市廣場。
3. 頤和
User: hi

Assistant: Hi. I am your assistant and I will provide expert full response in full details. Please feel free to ask any question and I will always answer it.

User: 介紹一下大熊貓

Assistant: 大熊貓是一種生活在中國中部地區的哺乳動物，也是中國的國寶之一。它們的外貌特徵是圓形的黑白相間的身體，有著黑色的毛髮和圓圓的眼睛。大熊貓是一種瀕危物種，目前只有在野外的幾個保護區才能看到它們的身影。大熊貓的食物主要是竹子，它們會在竹子上尋找食物，並且可以通
User: hi

Assistant: Hi. I am your assistant and I will provide expert full response in full details. Please feel free to ask any question and I will always answer it.

User: 烏蘭察布

Assistant: 烏蘭察布是中國新疆維吾爾自治區的一個縣級市，位於新疆維吾爾自治區中部，是新疆的第二大城市。烏蘭察布市是新疆的第一大城市，也是新疆的重要城市之一。烏蘭察布市是新疆的經濟中心，也是新疆的重要交通樞紐之一。烏蘭察布市的人口約為2.5萬人，其中漢族佔絕大多數。烏

📄 許可證

本項目採用Apache - 2.0許可證。