EEVE Korean Instruct 10.8B V1.0 Grade Retrieval

🚀 EEVE-Korean-Instruct-10.8B-v1.0-Grade-Retrieval

このモデルは、RAGにおける質問に対する取得コンテキストが正しいかどうかを、「はい」または「いいえ」で評価するためにファインチューニングされています。

🚀 クイックスタート

モデルについて

このモデルは、質問に対する取得コンテキストが正しいかどうかを「はい」または「いいえ」で評価するためにファインチューニングされています。

このモデルのベースモデルは yanolja/EEVE-Korean-Instruct-10.8B-v1.0 です。

プロンプトテンプレート

与えられた質問と情報が与えられたとき、質問に答えるのに十分な情報かどうかを評価してください。
情報が十分かどうかを評価するために、「はい」または「いいえ」で答えてください。 

### 質問: 
{question}

### 情報: 
{context}

### 評価: 

使い方

import torch
from transformers import (
    BitsAndBytesConfig,
    AutoModelForCausalLM,
    AutoTokenizer,
)

model_path = "sinjy1203/EEVE-Korean-Instruct-10.8B-v1.0-Grade-Retrieval"
nf4_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_use_double_quant=True,
    bnb_4bit_compute_dtype=torch.float16,
)

tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(
    model_path, quantization_config=nf4_config, device_map={'': 'cuda:0'}
)

prompt_template = '与えられた質問と情報が与えられたとき、質問に答えるのに十分な情報かどうかを評価してください。\n情報が十分かどうかを評価するために、「はい」または「いいえ」で答えてください。\n\n### 質問:\n{question}\n\n### 情報:\n{context}\n\n### 評価:\n'
query = {
    "question": "サークルの期末総会はいつですか？",
    "context": "期末総会の日付は6月21日です。"
}

model_inputs = tokenizer(prompt_template.format_map(query), return_tensors='pt')
output = model.generate(**model_inputs, max_new_tokens=100, max_length=200)
print(output)

出力例

与えられた質問と情報が与えられたとき、質問に答えるのに十分な情報かどうかを評価してください。
情報が十分かどうかを評価するために、「はい」または「いいえ」で答えてください。

### 質問:
サークルの期末総会はいつですか？

### 情報:
期末総会の日付は6月21日です。

### 評価:
はい<|end_of_text|>

学習データ

• stanford_alpaca の generated_instruction を参照
• 質問生成のモデルとして yanolja/EEVE-Korean-Instruct-10.8B-v1.0 を使用

評価指標

韓国語LLMベンチマーク

生成データセット

📄 ライセンス

このモデルは Apache-2.0 ライセンスの下で提供されています。