Saiga Llama3 8b

🚀 Saiga/Llama3 8B、ロシア語のLlama-3ベースのチャットボット

このチャットボットはLlama-3 8B Instructをベースに構築されています。

Llama.cppのバージョン: リンク

Colab: リンク

🚀 クイックスタート

✨ 主な機能

このチャットボットは、ロシア語での会話をサポートし、ユーザーに様々な情報を提供して支援します。

📦 インストール

READMEにインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

# Исключительно ознакомительный пример.
# НЕ НАДО ТАК ИНФЕРИТЬ МОДЕЛЬ В ПРОДЕ.
# См. https://github.com/vllm-project/vllm или https://github.com/huggingface/text-generation-inference

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

MODEL_NAME = "IlyaGusev/saiga_llama3_8b"
DEFAULT_SYSTEM_PROMPT = "Ты — Сайга, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им."

model = AutoModelForCausalLM.from_pretrained(
    MODEL_NAME,
    load_in_8bit=True,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
model.eval()

tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
generation_config = GenerationConfig.from_pretrained(MODEL_NAME)
print(generation_config)

inputs = ["Почему трава зеленая?", "Сочини длинный рассказ, обязательно упоминая следующие объекты. Дано: Таня, мяч"]
for query in inputs:
    prompt = tokenizer.apply_chat_template([{
        "role": "system",
        "content": DEFAULT_SYSTEM_PROMPT
    }, {
        "role": "user",
        "content": query
    }], tokenize=False, add_generation_prompt=True)
    data = tokenizer(prompt, return_tensors="pt", add_special_tokens=False)
    data = {k: v.to(model.device) for k, v in data.items()}
    output_ids = model.generate(**data, generation_config=generation_config)[0]
    output_ids = output_ids[len(data["input_ids"][0]):]
    output = tokenizer.decode(output_ids, skip_special_tokens=True).strip()
    print(query)
    print(output)
    print()
    print("==============================")
    print()

📚 ドキュメント

プロンプトフォーマット

⚠️ 重要提示

バージョン4では、プロンプトフォーマットをChatMLから元のLlama-3フォーマットに変更しました。フォーマットを切り替えることを忘れないでください！

v4, v5, v6+: LLama-3プロンプトフォーマット:

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

Ты — Сайга, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им.<|eot_id|><|start_header_id|>user<|end_header_id|>

Как дела?<|eot_id|><|start_header_id|>assistant<|end_header_id|>

Отлично, а у тебя?<|eot_id|><|start_header_id|>user<|end_header_id|>

Шикарно. Как пройти в библиотеку?<|eot_id|><|start_header_id|>assistant<|end_header_id|>

v2, v3: ChatMLプロンプトフォーマット:

<|im_start|>system
Ты — Сайга, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им.<|im_end|>
<|im_start|>user
Как дела?<|im_end|>
<|im_start|>assistant
Отлично, а у тебя?<|im_end|>
<|im_start|>user
Шикарно. Как пройти в библиотеку?<|im_end|>
<|im_start|>assistant

出力例

User: Почему трава зеленая? 
Saiga: Трава выглядит зеленым из-за наличия в ней хлорофилла – пигмента, который помогает растениям поглощать солнечную энергию для процесса фотосинтеза.
Хлорофилл поглощает световые лучи с длиной волны 400-500 нанометров (ближе к синему) и отражает лучи с длиной волны 600-700 нанометров (ближе к красному), что делает его видимым как зеленый цвет.
Таким образом, зеленый цвет является результатом того, как хлорофилл взаимодействует со светом, обеспечивая растения необходимой энергии для роста и развития.

User: Сочини длинный рассказ, обязательно упоминая следующие объекты. Дано: Таня, мяч
Saiga: В небольшой деревушке под открытым небом жила девочка по имени Таня. Она была очень активной и любящей играть в различные виды спорта. Однажды, когда она прогуливалась по полям, увидела на земле лежащий мяч. Это был старый, но все еще пригодный для игры мячик.
Таня сразу же решила взять его себе домой и показать своему другу Мише. Мишка тоже обожал футбол и всегда рад был бы провести время вместе со своими друзьями. Когда они вернулись домой, Таня показала ему найденный мячик и предложила сыграть в футбол.
Мишка был счастлив, что у них появился новый мяч, и они сразу же начали готовиться к матчу. Они построили две команды и начали игру. Играли они до вечера, а потом решили сделать перерыв и приготовить ужин.
После ужина они продолжили игру, теперь уже с большим энтузиазмом и страстью. В конце концов, победителем стала команда Тани, которая забила больше голов. Все закончилось веселым праздником и хорошими воспоминаниями о проведенном времени.
На следующий день Таня и Миша решили пригласить своих других друзей на игру. Они собрали всех в одном месте и провели ещё один захватывающий матч. Этот день также стал незабываемым благодаря новому мячу, который принес так много радости и улыбок.
Итак, этот маленький мяч, который Таня нашла на поле, стал не просто предметом для игр, но и символом дружбы и веселья между детьми. Он помог им создать незабываемые моменты и укрепил их отношения.

バージョン情報

v7:

• 17e1bcc9c6d3e31852a95a168f7d3778f395cd2a
• 別名: saiga_llama3_8b_abliterated_sft_m11_d7_kto_m7_d7
• SFTデータセット設定: sft_d7.json
• SFTモデル設定: saiga_llama3_8b_sft_m11.json
• KTOデータセット設定: pref_d7.json
• KTOモデル設定: saiga_llama3_8b_kto_m7.json
• SFT wandb: リンク
• KTO wandb: リンク

v6:

• b662833f247ca04f1843b356e7ff3ee4aef8086a
• 別名: saiga_llama3_8b_sft_m10_d1_kto_m2_d2
• SFTデータセット設定: sft_d1.json
• SFTモデル設定: saiga_llama3_8b_sft_m10.json
• KTOデータセット設定: pref_d2.json
• KTOモデル設定: saiga_llama3_8b_kto_m2.json
• SFT wandb: リンク
• KTO wandb: リンク

v5:

• d947b00c56683cd4b2f7ce707edef89318027be4
• v4に対するKTOチューニング、データセット: lmsys_clean_ru_preferences
• wandb リンク

v4:

• 1cc945d4ca2c7901cf989e7edaac52ab24f1a7dd
• データセット: saiga_scored、スコア >= 8、c66032920556c0f21bbbed05e7e04433ec954c3d
• wandb リンク

v3:

• c588356cd60bdee54d52c2dd5a2445acca8aa5c3
• データセット: saiga_scored、スコア >= 8、d51cf8060bdc90023da8cf1c3f113f9193d6569b
• wandb リンク

v2:

• ae61b4f9b34fac9856d361ea78c66284a00e4f0b
• データセットコードのリビジョン d0d123dd221e10bb2a3383bcb1c6e4efe1b4a28a
• wandb リンク
• 5つのデータセット: ru_turbo_saiga, ru_sharegpt_cleaned, oasst1_ru_main_branch, gpt_roleplay_realm, ru_instruct_gpt4
• データセットのマージスクリプト: create_short_chat_set.py

評価

• データセット: https://github.com/IlyaGusev/rulm/blob/master/self_instruct/data/tasks.jsonl
• フレームワーク: https://github.com/tatsu-lab/alpaca_eval
• 評価器: alpaca_eval_cot_gpt4_turbo_fn

Pivot: chatgpt_3_5_turbo

Pivot: sfr

📄 ライセンス

このプロジェクトはllama3ライセンスの下で提供されています。