EEVE Korean Instruct 10.8B V1.0 Grade Retrieval

🚀 EEVE-Korean-Instruct-10.8B-v1.0-Grade-Retrieval

本模型經過微調，用於評估檢索增強生成（RAG）中針對某個問題所檢索到的上下文是否正確，並以“是”或“否”進行回答。

📚 詳細文檔

關於模型

該模型的基礎模型是 yanolja/EEVE-Korean-Instruct-10.8B-v1.0。

提示模板

當給定問題和信息時，請評估這些信息是否足以回答該問題。
請用“예（是）”或“아니오（否）”來回答信息是否充足。

### 問題: 
{question}

### 信息: 
{context}

### 評估: 

🚀 快速開始

如何使用

import torch
from transformers import (
    BitsAndBytesConfig,
    AutoModelForCausalLM,
    AutoTokenizer,
)

model_path = "sinjy1203/EEVE-Korean-Instruct-10.8B-v1.0-Grade-Retrieval"
nf4_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_use_double_quant=True,
    bnb_4bit_compute_dtype=torch.float16,
)

tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(
    model_path, quantization_config=nf4_config, device_map={'': 'cuda:0'}
)

prompt_template = '주어진 질문과 정보가 주어졌을 때 질문에 답하기에 충분한 정보인지 평가해줘.\n정보가 충분한지를 평가하기 위해 "예" 또는 "아니오"로 답해줘.\n\n### 질문:\n{question}\n\n### 정보:\n{context}\n\n### 평가:\n'
query = {
    "question": "동아리 종강총회가 언제인가요?",
    "context": "종강총회 날짜는 6월 21일입니다."
}

model_inputs = tokenizer(prompt_template.format_map(query), return_tensors='pt')
output = model.generate(**model_inputs, max_new_tokens=100, max_length=200)
print(output)

示例輸出

當給定問題和信息時，請評估這些信息是否足以回答該問題。
請用“예（是）”或“아니오（否）”來回答信息是否充足。

### 問題:
社團結課總會什麼時候舉行？

### 信息:
結課總會日期是6月21日。

### 評估:
예<|end_of_text|>

訓練數據

• 參考了 stanford_alpaca 生成的指令。
• 使用 yanolja/EEVE-Korean-Instruct-10.8B-v1.0 作為問題生成的模型。

🔧 技術細節

指標

韓語大語言模型基準測試

生成數據集

📄 許可證

本項目採用 Apache-2.0 許可證。