Vikhr Llama 3.2 1B Instruct

🚀 Vikhr-Llama-3.2-1B-instruct

Vikhr-Llama-3.2-1B-instruct是一個基於Llama-3.2-1B-Instruct的指令模型，在俄語數據集GrandMaster-PRO-MAX上進行了訓練。相比基礎模型，它的效率提升了5倍，非常適合在低功耗或移動設備上部署。

🚀 快速開始

你可以通過以下鏈接在Colab中快速體驗該模型：

✨ 主要特性

• 多語言支持：支持俄語（ru）和英語（en）。
• 高效性能：相比基礎模型，效率提升了5倍，適合在低功耗或移動設備上部署。
• 基於優質數據集訓練：在Vikhrmodels/GrandMaster-PRO-MAX數據集上進行訓練。

📦 安裝指南

文檔中未提及具體安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer

# 加載模型
model_name = "Vikhrmodels/Vikhr-Llama-3.2-1B-instruct"
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# 輸入文本
input_text = "–ù–∞–ø–∏—à–∏ –æ—á–µ–Ω—å –∫—Ä–∞—Ç–∫—É—é —Ä–µ—Ü–µ–Ω–∑–∏—é –æ –∫–Ω–∏–≥–µ –≥–∞—Ä—Ä–∏ –ø–æ—Ç—Ç–µ—Ä."

# 編碼輸入文本
input_ids = tokenizer.encode(input_text, return_tensors="pt")
output = model.generate(
  input_ids,
  max_length=1512,
  temperature=0.3,
  num_return_sequences=1,
  no_repeat_ngram_size=2,
  top_k=50,
  top_p=0.95,
  )

# 解碼輸出
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

高級用法

文檔中未提及高級用法相關代碼，故跳過此部分。

📚 詳細文檔

模型信息

模型訓練

為了創建Vikhr-Llama-3.2-1B-instruct，使用了SFT（Supervised Fine-Tuning）方法。該模型在合成數據集Vikhrmodels/GrandMaster-PRO-MAX（150k指令）上進行訓練，並支持CoT（Chain-Of-Thought），利用了GPT-4-turbo的提示。

運行SFT的腳本可以在我們的GitHub倉庫中找到：effective_llm_alignment。

模型響應示例

文檔中給出了關於模型對特定輸入的響應解釋，但由於內容為俄語且較複雜，暫未進行詳細翻譯，保留原文供參考：

–ö—Ä–∞—Ç–∫–∞—è —Ä–µ—Ü–µ–Ω–∑–∏—è –Ω–∞ –∫–Ω–∏–≥—É "–ì–∞—Ä—Ä–∏ –ü–æ—Ç—Ç–µ—Ä"

"Гарри Поттер" — это серия книг, написанная Дж. К. Роулинг, которая стала культовой в мире детских литературы. Книги рассказывают о жизни и приключениях молодого ученика по имени Гарри Поттер, который стал знаменитым по своей способности к магии.

–û—Å–Ω–æ–≤–Ω—ã–µ –º–æ–º–µ–Ω—Ç—ã:

1. Введение в мир Гарри Поттера: Книги начинаются с описания Гарри, его семьи и школы, где он изучает магию. Гарри — необычный ученик, который не имеет магических способностей, но обладает уникальным умом и способностью к решению проблем.

2. –°–æ—Ü–∏–∞–ª—å–Ω—ã–µ –∏ –ø–æ–ª–∏—Ç–∏—á–µ—Å–∫–∏–µ –∞—Å–ø–µ–∫—Ç—ã: –í –∫–Ω–∏–≥–∞—Ö —Ä–∞—Å—Å–º–∞—Ç—Ä–∏–≤–∞—é—Ç—Å—è —Å–æ—Ü–∏–∞–ª—å–Ω—ã–µ –∏ –ø–æ–ª–∏—Ç–∏—á–µ—Å–∫–∏–µ –∞—Å–ø–µ–∫—Ç—ã, —Ç–∞–∫–∏–µ –∫–∞–∫ –ø—Ä–∞–≤–∏—Ç–µ–ª—å—Å—Ç–≤–æ, –º–∞–≥–∏—á–µ—Å–∫–∏–µ –æ–±—â–µ—Å—Ç–≤–∞, –∏ –∏—Ö –≤–∑–∞–∏–º–æ–¥–µ–π—Å—Ç–≤–∏–µ.

3. –ú–∞–≥–∏—á–µ—Å–∫–∏–µ –ø—Ä–∏–∫–ª—é—á–µ–Ω–∏—è: –ì–∞—Ä—Ä–∏ –∏ –µ–≥–æ –¥—Ä—É–∑—å—è, –≤–∫–ª—é—á–∞—è –†–æ–Ω –∏ –•—ç–ª, —Å—Ç–∞–ª–∫–∏–≤–∞—é—Ç—Å—è —Å –º–Ω–æ–∂–µ—Å—Ç–≤–æ–º –º–∞–≥–∏—á–µ—Å–∫–∏—Ö —É–≥—Ä–æ–∑, –≤–∫–ª—é—á–∞—è –∑–ª–æ–¥–µ–µ–≤, —Ç–∞–∫–∏–µ –∫–∞–∫ –í–æ–ª—à–µ–±–Ω—ã–π –í–æ–π–Ω—É–∫ –∏ –°–∞—Ç–∞–Ω.

4. –†–∞–∑–≤–∏—Ç–∏–µ –ø–µ—Ä—Å–æ–Ω–∞–∂–µ–π: –í –∫–Ω–∏–≥–∞—Ö —Ä–∞–∑–≤–∏–≤–∞—é—Ç—Å—è –ø–µ—Ä—Å–æ–Ω–∞–∂–∏, –∏—Ö –º–æ—Ç–∏–≤–∞—Ü–∏–∏ –∏ –æ—Ç–Ω–æ—à–µ–Ω–∏—è —Å –¥—Ä—É–≥–∏–º–∏ –ø–µ—Ä—Å–æ–Ω–∞–∂–∞–º–∏.

5. –§–∏–ª–æ—Å–æ—Ñ—Å–∫–∏–µ –∏ –º–æ—Ä–∞–ª—å–Ω—ã–µ –≤–æ–ø—Ä–æ—Å—ã: –ö–Ω–∏–≥–∏ –∑–∞—Ç—Ä–∞–≥–∏–≤–∞—é—Ç —Ç–µ–º—ã, —Ç–∞–∫–∏–µ –∫–∞–∫ –≤–µ—Ä–∞, –¥–æ–±—Ä–æ—Ç–∞, —Å–ø—Ä–∞–≤–µ–¥–ª–∏–≤–æ—Å—Ç—å –∏ –º–æ—Ä–∞–ª—å–Ω—ã–µ –¥–∏–ª–µ–º–º—ã.

–ó–∞–∫–ª—é—á–µ–Ω–∏–µ:

"Гарри Поттер" — это не только история о молодом ученике, но и глубокое исследование человеческого опыта, социальных норм и моральных дилемм. Книги привлекают читателей своими захватывающими, яркими персонажами и глубокими философскими размышлениями. Они являются не только увлекательным приключением, но и важным источником вдохновения для многих людей.

模型指標

🔧 技術細節

文檔中未提及具體技術細節，故跳過此章節。

📄 許可證

該模型的許可證為llama3.2。

📖 作者信息

• Sergei Bratchikov, NLP Wanderer, Vikhr Team
• Nikolay Kompanets, LakoMoor, Vikhr Team
• Konstantin Korolev, Vikhr Team
• Aleksandr Nikolich, Vikhr Team

引用信息

@article{nikolich2024vikhr,
  title={Vikhr: The Family of Open-Source Instruction-Tuned Large Language Models for Russian},
  author={Aleksandr Nikolich and Konstantin Korolev and Sergey Bratchikov and Nikolay Kompanets and Artem Shelmanov},
  journal={arXiv preprint arXiv:2405.13929},
  year={2024},
  url={https://arxiv.org/pdf/2405.13929}
}