Llama 2 70b Fb16 Korean

🚀 quantumaikr/llama-2-70b-fb16-korean

quantumaikr/llama-2-70b-fb16-koreanは、韓国語データセットでファインチューニングされたLlama2 70Bモデルです。

🚀 クイックスタート

以下のコードスニペットを使用して、quantumaikr/llama-2-70b-fb16-koreanとチャットを開始できます。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

tokenizer = AutoTokenizer.from_pretrained("quantumaikr/llama-2-70b-fb16-korean")
model = AutoModelForCausalLM.from_pretrained("quantumaikr/llama-2-70b-fb16-korean", torch_dtype=torch.float16, device_map="auto")

system_prompt = "### System:\n귀하는 지시를 매우 잘 따르는 AI인 QuantumLM입니다. 최대한 많이 도와주세요. 안전에 유의하고 불법적인 행동은 하지 마세요.\n\n"

message = "인공지능이란 무엇인가요?"
prompt = f"{system_prompt}### User: {message}\n\n### Assistant:\n"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
output = model.generate(**inputs, do_sample=True, temperature=0.9, top_p=0.75, max_new_tokens=4096)

print(tokenizer.decode(output[0], skip_special_tokens=True))

QuantumLMはこのプロンプト形式で使用する必要があります。

### System:
This is a system prompt, please behave and help the user.

### User:
Your prompt here

### Assistant
The output of QuantumLM

✨ 主な機能

• 韓国語データセットでファインチューニングされたLlama2 70Bモデルで、韓国語に特化した応答が期待できます。

📚 ドキュメント

使用目的

これらのモデルは、CC BY - NC 4.0ライセンスに準拠し、研究目的のみを意図しています。

制限事項とバイアス

前述のデータセットは、ベース言語モデルを「より安全な」テキスト分布に導くのに役立ちますが、微調整によってすべてのバイアスと毒性を軽減することはできません。ユーザーは、生成された応答に生じる可能性のあるこのような潜在的な問題に留意するようお願いします。モデルの出力を人間の判断の代替品や真実の情報源として扱わないでください。責任を持って使用してください。

お問い合わせ

hi@quantumai.kr