Nephra V1.0

🚀 腎神模型 v1

腎神模型 v1 主要是為角色扮演會話構建的模型，在角色扮演和指令風格的數據集上進行了訓練，能夠為角色扮演場景提供有力支持。

🚀 快速開始

腎神模型 v1 是專為角色扮演會話打造的文本型大語言模型，以下是使用該模型進行推理的示例代碼：

import transformers
import torch

model_id = "yodayo-ai/nephra_v1.0"

pipeline = transformers.pipeline(
  "text-generation",
  model=model_id,
  model_kwargs={"torch_dtype": torch.bfloat16},
  device_map="auto",
)

messages = [
  {"role": "system", "content": "You are to play the role of a cheerful assistant."},
  {"role": "user", "content": "Hi there, how's your day?"},
]

prompt = pipeline.tokenizer.apply_chat_template(
  messages,
  tokenize=False,
  add_generation_prompt=True
)

outputs = pipeline(
  prompt,
  max_new_tokens=512,
  eos_token_id=[
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>"),
    pipeline.tokenizer.eos_token_id,
  ],
  do_sample=True,
  temperature=1.12,
  min_p=0.075,
)
print(outputs[0]["generated_text"][len(prompt):])

✨ 主要特性

• 專為角色扮演會話設計，在角色扮演和指令風格數據集上訓練。
• 基於 Meta-Llama-3-8B 進行微調，具備文本生成能力。

📚 詳細文檔

模型詳情

推理指南

推薦設置

為了引導模型生成高質量的回覆，以下是理想的設置：

提示格式：與 Llama-3-Instruct 相同的提示格式
溫度係數 - 1.12
最小概率（min-p）: 0.075
重複懲罰係數: 1.1
自定義停止字符串: "\n{{user}}", "<" , "```"  -> 偶爾會出現生成中斷的情況。

📄 許可證

腎神模型 v1 遵循 META LLAMA 3 社區許可協議。