Saiga Llama3 8b

🚀 Saiga/Llama3 8B：基於Llama-3的俄語聊天機器人

Saiga/Llama3 8B是一款基於Llama-3的俄語聊天機器人，它依託強大的模型架構，能為用戶提供高效、準確的對話服務，解決用戶在交流過程中的各種需求。

🚀 快速開始

• 模型基礎：該模型基於 Llama-3 8B Instruct 構建。
• Llama.cpp 版本：可訪問 此處 獲取。
• Colab 環境：點擊 鏈接 可在 Colab 中使用。

✨ 主要特性

• 多版本支持：提供不同版本，每個版本在數據集和配置上有所差異，以滿足不同場景需求。
• 多種提示格式：支持不同的提示格式，如 Llama-3 格式和 ChatML 格式。

📦 安裝指南

文檔未提及具體安裝步驟，暫不提供。

💻 使用示例

基礎用法

# 此為僅作參考的示例。
# 請勿在生產環境中以此方式推理模型。
# 請參考 https://github.com/vllm-project/vllm 或 https://github.com/huggingface/text-generation-inference

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

MODEL_NAME = "IlyaGusev/saiga_llama3_8b"
DEFAULT_SYSTEM_PROMPT = "你是賽加（Сайга），一個講俄語的自動助手。你與人們交談並幫助他們。"

model = AutoModelForCausalLM.from_pretrained(
    MODEL_NAME,
    load_in_8bit=True,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
model.eval()

tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
generation_config = GenerationConfig.from_pretrained(MODEL_NAME)
print(generation_config)

inputs = ["為什麼草是綠色的？", "寫一個長故事，必須提及以下對象。給定：坦尼婭（Таня），球"]
for query in inputs:
    prompt = tokenizer.apply_chat_template([{
        "role": "system",
        "content": DEFAULT_SYSTEM_PROMPT
    }, {
        "role": "user",
        "content": query
    }], tokenize=False, add_generation_prompt=True)
    data = tokenizer(prompt, return_tensors="pt", add_special_tokens=False)
    data = {k: v.to(model.device) for k, v in data.items()}
    output_ids = model.generate(**data, generation_config=generation_config)[0]
    output_ids = output_ids[len(data["input_ids"][0]):]
    output = tokenizer.decode(output_ids, skip_special_tokens=True).strip()
    print(query)
    print(output)
    print()
    print("==============================")
    print()

📚 詳細文檔

提示格式

⚠️ 重要提示

在 v4 版本中，提示格式已從 ChatML 更改為 原始的 Llama-3 格式。請務必切換格式！

v4、v5、v6+ 版本：Llama-3 提示格式

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

你是賽加（Сайга），一個講俄語的自動助手。你與人們交談並幫助他們。<|eot_id|><|start_header_id|>user<|end_header_id|>

最近怎麼樣？<|eot_id|><|start_header_id|>assistant<|end_header_id|>

很好，你呢？<|eot_id|><|start_header_id|>user<|end_header_id|>

太棒了。怎麼去圖書館？<|eot_id|><|start_header_id|>assistant<|end_header_id|>

v2、v3 版本：ChatML 提示格式

<|im_start|>system
你是賽加（Сайга），一個講俄語的自動助手。你與人們交談並幫助他們。<|im_end|>
<|im_start|>user
最近怎麼樣？<|im_end|>
<|im_start|>assistant
很好，你呢？<|im_end|>
<|im_start|>user
太棒了。怎麼去圖書館？<|im_end|>
<|im_start|>assistant

輸出示例

用戶：為什麼草是綠色的？ 
賽加（Saiga）：草呈現綠色是因為其中含有葉綠素——一種幫助植物吸收太陽能進行光合作用的色素。
葉綠素吸收波長為400 - 500納米（接近藍色）的光線，並反射波長為600 - 700納米（接近紅色）的光線，這使得它看起來是綠色的。
因此，綠色是葉綠素與光線相互作用的結果，為植物的生長和發育提供了必要的能量。

用戶：寫一個長故事，必須提及以下對象。給定：坦尼婭（Таня），球
賽加（Saiga）：在一個開闊天空下的小村莊裡，住著一個名叫坦尼婭（Таня）的女孩。她非常活躍，喜歡參加各種體育活動。有一天，她在田野裡散步時，看到地上有一個球。這是一箇舊球，但仍然可以用來玩。
坦尼婭立刻決定把它帶回家，並給她的朋友米沙（Миша）看。米沙也熱愛足球，總是很高興能和朋友們一起度過時光。當他們回到家時，坦尼婭把找到的球拿給米沙看，並提議一起踢足球。
米沙很高興他們有了一個新球，他們立刻開始為比賽做準備。他們分成兩隊，開始了比賽。他們一直玩到晚上，然後決定休息一下，準備晚餐。
晚餐後，他們繼續比賽，現在更加熱情和投入。最後，坦尼婭的隊伍贏得了比賽，進了更多的球。一切都以歡樂的慶祝和美好的回憶結束。
第二天，坦尼婭和米沙決定邀請他們的其他朋友來參加比賽。他們把所有人聚集在一起，又進行了一場精彩的比賽。由於這個新球，這一天也變得難忘，它帶來了很多歡樂和笑容。
所以，這個坦尼婭在田野裡找到的小球，不僅成為了玩耍的物品，也成為了孩子們之間友誼和歡樂的象徵。它幫助他們創造了難忘的時刻，加強了他們的關係。

版本信息

• v7 版本
  • 17e1bcc9c6d3e31852a95a168f7d3778f395cd2a
  • 別名：saiga_llama3_8b_abliterated_sft_m11_d7_kto_m7_d7
  • SFT 數據集配置：sft_d7.json
  • SFT 模型配置：saiga_llama3_8b_sft_m11.json
  • KTO 數據集配置：pref_d7.json
  • KTO 模型配置：saiga_llama3_8b_kto_m7.json
  • SFT wandb 鏈接：link
  • KTO wandb 鏈接：link
• v6 版本
  • b662833f247ca04f1843b356e7ff3ee4aef8086a
  • 別名：saiga_llama3_8b_sft_m10_d1_kto_m2_d2
  • SFT 數據集配置：sft_d1.json
  • SFT 模型配置：saiga_llama3_8b_sft_m10.json
  • KTO 數據集配置：pref_d2.json
  • KTO 模型配置：saiga_llama3_8b_kto_m2.json
  • SFT wandb 鏈接：link
  • KTO wandb 鏈接：link
• v5 版本
  • d947b00c56683cd4b2f7ce707edef89318027be4
  • 在 v4 版本基礎上進行 KTO 微調，數據集：lmsys_clean_ru_preferences
  • wandb 鏈接：link
• v4 版本
  • 1cc945d4ca2c7901cf989e7edaac52ab24f1a7dd
  • 數據集：saiga_scored，分數 >= 8，c66032920556c0f21bbbed05e7e04433ec954c3d
  • wandb 鏈接：link
• v3 版本
  • c588356cd60bdee54d52c2dd5a2445acca8aa5c3
  • 數據集：saiga_scored，分數 >= 8，d51cf8060bdc90023da8cf1c3f113f9193d6569b
  • wandb 鏈接：link
• v2 版本
  • ae61b4f9b34fac9856d361ea78c66284a00e4f0b
  • 數據集代碼版本：d0d123dd221e10bb2a3383bcb1c6e4efe1b4a28a
  • wandb 鏈接：link
  • 5 個數據集：ru_turbo_saiga、ru_sharegpt_cleaned、oasst1_ru_main_branch、gpt_roleplay_realm、ru_instruct_gpt4
  • 數據集合並腳本：create_short_chat_set.py

評估信息

• 數據集：https://github.com/IlyaGusev/rulm/blob/master/self_instruct/data/tasks.jsonl
• 框架：https://github.com/tatsu-lab/alpaca_eval
• 評估器：alpaca_eval_cot_gpt4_turbo_fn

以 ChatGPT 3.5 Turbo 為基準

以 SFR 為基準

📄 許可證

• 許可證類型：其他
• 許可證名稱：llama3
• 許可證鏈接：https://llama.meta.com/llama3/license/