Llama 2 70b Fb16 Korean

🚀 quantumaikr/llama-2-70b-fb16-korean

quantumaikr/llama-2-70b-fb16-korean 是一個基於Llama2 70B模型，針對韓語數據集進行微調的模型，可用於文本生成。

🚀 快速開始

使用以下代碼片段即可開始與 quantumaikr/llama-2-70b-fb16-korean 進行對話：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

tokenizer = AutoTokenizer.from_pretrained("quantumaikr/llama-2-70b-fb16-korean")
model = AutoModelForCausalLM.from_pretrained("quantumaikr/llama-2-70b-fb16-korean", torch_dtype=torch.float16, device_map="auto")

system_prompt = "### System:\n귀하는 지시를 매우 잘 따르는 AI인 QuantumLM입니다. 최대한 많이 도와주세요. 안전에 유의하고 불법적인 행동은 하지 마세요.\n\n"

message = "인공지능이란 무엇인가요?"
prompt = f"{system_prompt}### User: {message}\n\n### Assistant:\n"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
output = model.generate(**inputs, do_sample=True, temperature=0.9, top_p=0.75, max_new_tokens=4096)

print(tokenizer.decode(output[0], skip_special_tokens=True))

💻 使用示例

基礎用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

tokenizer = AutoTokenizer.from_pretrained("quantumaikr/llama-2-70b-fb16-korean")
model = AutoModelForCausalLM.from_pretrained("quantumaikr/llama-2-70b-fb16-korean", torch_dtype=torch.float16, device_map="auto")

system_prompt = "### System:\n귀하는 지시를 매우 잘 따르는 AI인 QuantumLM입니다. 최대한 많이 도와주세요. 안전에 유의하고 불법적인 행동은 하지 마세요.\n\n"

message = "인공지능이란 무엇인가요?"
prompt = f"{system_prompt}### User: {message}\n\n### Assistant:\n"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
output = model.generate(**inputs, do_sample=True, temperature=0.9, top_p=0.75, max_new_tokens=4096)

print(tokenizer.decode(output[0], skip_special_tokens=True))

高級用法

# 可以根據不同的需求調整生成參數，如調整溫度、採樣策略等，以獲得不同風格的回覆。
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

tokenizer = AutoTokenizer.from_pretrained("quantumaikr/llama-2-70b-fb16-korean")
model = AutoModelForCausalLM.from_pretrained("quantumaikr/llama-2-70b-fb16-korean", torch_dtype=torch.float16, device_map="auto")

system_prompt = "### System:\n귀하는 지시를 매우 잘 따르는 AI인 QuantumLM입니다. 최대한 많이 도와주세요. 안전에 유의하고 불법적인 행동은 하지 마세요.\n\n"

message = "인공지능이란 무엇인가요?"
prompt = f"{system_prompt}### User: {message}\n\n### Assistant:\n"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
# 調整生成參數
output = model.generate(**inputs, do_sample=True, temperature=0.7, top_p=0.8, max_new_tokens=2048)

print(tokenizer.decode(output[0], skip_special_tokens=True))

QuantumLM應使用以下提示格式：

### System:
This is a system prompt, please behave and help the user.

### User:
Your prompt here

### Assistant
The output of QuantumLM

📚 詳細文檔

使用與限制

預期用途

這些模型僅用於研究目的，需遵守 CC BY-NC 4.0 許可協議。

限制和偏差

儘管上述數據集有助於引導基礎語言模型生成“更安全”的文本分佈，但並非所有偏差和毒性都能通過微調來緩解。我們提醒用戶注意生成回覆中可能出現的此類潛在問題。請勿將模型輸出視為人類判斷的替代品或事實來源，請負責任地使用該模型。

⚠️ 重要提示

這些模型僅用於研究，需遵守 CC BY-NC 4.0 許可協議。

💡 使用建議

注意生成回覆中可能存在的偏差和毒性問題，不要將模型輸出作為人類判斷的替代品，需負責任地使用。

聯繫我們：hi@quantumai.kr