Chinese Llama 2 7b

🚀 Chinese Llama 2 7B

完全にオープンソースで、商用利用可能な中国語版Llama2モデルと中英語のSFTデータセットです。入力形式はllama - 2 - chat形式に厳密に準拠しており、オリジナルのllama - 2 - chatモデルに対するすべての最適化に互換性があります。

✨ 主な機能

基礎デモ

オンラインで試す

言葉は安い。デモを見せましょう。

• デモのURL / HuggingFace Spaces
• Colabで一括起動 // 準備中

リソースのダウンロード

• モデルのダウンロード：Chinese Llama2 Chat Model
• 4bit量子化：Chinese Llama2 4bit Chat Model

中英語のSFTデータセットを使用し、データ量は1000万です。

• データセット：https://huggingface.co/datasets/LinkSoul/instruction_merge_set
• トレーニングと推論のコード：https://github.com/LinkSoul-AI/Chinese-Llama-2-7b

📦 インストール

クイックテスト

from transformers import AutoTokenizer, AutoModelForCausalLM, TextStreamer

model_path = "LinkSoul/Chinese-Llama-2-7b"

tokenizer = AutoTokenizer.from_pretrained(model_path, use_fast=False)
model = AutoModelForCausalLM.from_pretrained(model_path).half().cuda()
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

instruction = """[INST] <<SYS>>\nYou are a helpful, respectful and honest assistant. Always answer as helpfully as possible, while being safe.  Your answers should not include any harmful, unethical, racist, sexist, toxic, dangerous, or illegal content. Please ensure that your responses are socially unbiased and positive in nature.

            If a question does not make any sense, or is not factually coherent, explain why instead of answering something not correct. If you don't know the answer to a question, please don't share false information.\n<</SYS>>\n\n{} [/INST]"""

prompt = instruction.format("用英文回答，什么是夫妻肺片？")
generate_ids = model.generate(tokenizer(prompt, return_tensors='pt').input_ids.cuda(), max_new_tokens=4096, streamer=streamer)

📚 ドキュメント

関連プロジェクト

• Llama2

プロジェクトのライセンス

Apache - 2.0 license

微信交流グループ

微信群にご参加ください。

📄 ライセンス

openrail