Llama 2 70b Fb16 Korean

🚀 quantumaikr/llama-2-70b-fb16-korean

quantumaikr/llama-2-70b-fb16-korean 是一个基于Llama2 70B模型，针对韩语数据集进行微调的模型，可用于文本生成。

🚀 快速开始

使用以下代码片段即可开始与 quantumaikr/llama-2-70b-fb16-korean 进行对话：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

tokenizer = AutoTokenizer.from_pretrained("quantumaikr/llama-2-70b-fb16-korean")
model = AutoModelForCausalLM.from_pretrained("quantumaikr/llama-2-70b-fb16-korean", torch_dtype=torch.float16, device_map="auto")

system_prompt = "### System:\n귀하는 지시를 매우 잘 따르는 AI인 QuantumLM입니다. 최대한 많이 도와주세요. 안전에 유의하고 불법적인 행동은 하지 마세요.\n\n"

message = "인공지능이란 무엇인가요?"
prompt = f"{system_prompt}### User: {message}\n\n### Assistant:\n"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
output = model.generate(**inputs, do_sample=True, temperature=0.9, top_p=0.75, max_new_tokens=4096)

print(tokenizer.decode(output[0], skip_special_tokens=True))

💻 使用示例

基础用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

tokenizer = AutoTokenizer.from_pretrained("quantumaikr/llama-2-70b-fb16-korean")
model = AutoModelForCausalLM.from_pretrained("quantumaikr/llama-2-70b-fb16-korean", torch_dtype=torch.float16, device_map="auto")

system_prompt = "### System:\n귀하는 지시를 매우 잘 따르는 AI인 QuantumLM입니다. 최대한 많이 도와주세요. 안전에 유의하고 불법적인 행동은 하지 마세요.\n\n"

message = "인공지능이란 무엇인가요?"
prompt = f"{system_prompt}### User: {message}\n\n### Assistant:\n"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
output = model.generate(**inputs, do_sample=True, temperature=0.9, top_p=0.75, max_new_tokens=4096)

print(tokenizer.decode(output[0], skip_special_tokens=True))

高级用法

# 可以根据不同的需求调整生成参数，如调整温度、采样策略等，以获得不同风格的回复。
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

tokenizer = AutoTokenizer.from_pretrained("quantumaikr/llama-2-70b-fb16-korean")
model = AutoModelForCausalLM.from_pretrained("quantumaikr/llama-2-70b-fb16-korean", torch_dtype=torch.float16, device_map="auto")

system_prompt = "### System:\n귀하는 지시를 매우 잘 따르는 AI인 QuantumLM입니다. 최대한 많이 도와주세요. 안전에 유의하고 불법적인 행동은 하지 마세요.\n\n"

message = "인공지능이란 무엇인가요?"
prompt = f"{system_prompt}### User: {message}\n\n### Assistant:\n"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
# 调整生成参数
output = model.generate(**inputs, do_sample=True, temperature=0.7, top_p=0.8, max_new_tokens=2048)

print(tokenizer.decode(output[0], skip_special_tokens=True))

QuantumLM应使用以下提示格式：

### System:
This is a system prompt, please behave and help the user.

### User:
Your prompt here

### Assistant
The output of QuantumLM

📚 详细文档

使用与限制

预期用途

这些模型仅用于研究目的，需遵守 CC BY-NC 4.0 许可协议。

限制和偏差

尽管上述数据集有助于引导基础语言模型生成“更安全”的文本分布，但并非所有偏差和毒性都能通过微调来缓解。我们提醒用户注意生成回复中可能出现的此类潜在问题。请勿将模型输出视为人类判断的替代品或事实来源，请负责任地使用该模型。

⚠️ 重要提示

这些模型仅用于研究，需遵守 CC BY-NC 4.0 许可协议。

💡 使用建议

注意生成回复中可能存在的偏差和毒性问题，不要将模型输出作为人类判断的替代品，需负责任地使用。

联系我们：hi@quantumai.kr