Nephra V1.0

🚀 ネフラ v1

ネフラ v1 は主にロールプレイングセッション向けに構築されたモデルで、ロールプレイと命令形式のデータセットを使用して学習されています。

🚀 クイックスタート

ネフラ v1 は、ロールプレイングセッションに最適化された大規模言語モデルです。以下に推奨される設定や使用例を示します。

✨ 主な機能

• ロールプレイングセッションに特化した学習を行っている。
• Llama-3-Instruct と同じプロンプト形式をサポートしている。

📚 ドキュメント

モデルの詳細

推論ガイドライン

基本的な使用法

import transformers
import torch

model_id = "yodayo-ai/nephra_v1.0"

pipeline = transformers.pipeline(
  "text-generation",
  model=model_id,
  model_kwargs={"torch_dtype": torch.bfloat16},
  device_map="auto",
)

messages = [
  {"role": "system", "content": "You are to play the role of a cheerful assistant."},
  {"role": "user", "content": "Hi there, how's your day?"},
]

prompt = pipeline.tokenizer.apply_chat_template(
  messages,
  tokenize=False,
  add_generation_prompt=True
)

outputs = pipeline(
  prompt,
  max_new_tokens=512,
  eos_token_id=[
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>"),
    pipeline.tokenizer.eos_token_id,
  ],
  do_sample=True,
  temperature=1.12,
  min_p=0.075,
)
print(outputs[0]["generated_text"][len(prompt):])

推奨設定

モデルが高品質な応答を生成するための理想的な設定は以下の通りです。

Prompt Format: Llama-3-Instruct と同じプロンプト形式
Temperature - 1.12
min-p: 0.075
Repetition Penalty: 1.1
Custom Stopping Strings: "\n{{user}}", "<" , "```" , -> 生成が途中で途切れることがあります。

📄 ライセンス

ネフラ v1 は META LLAMA 3 COMMUNITY LICENSE AGREEMENT の下にあります。