Vikhr Llama 3.2 1B Instruct

🚀 Vikhr-Llama-3.2-1B-instruct

Vikhr-Llama-3.2-1B-instruct是一个基于Llama-3.2-1B-Instruct的指令模型，在俄语数据集GrandMaster-PRO-MAX上进行了训练。相比基础模型，它的效率提升了5倍，非常适合在低功耗或移动设备上部署。

🚀 快速开始

你可以通过以下链接在Colab中快速体验该模型：

✨ 主要特性

• 多语言支持：支持俄语（ru）和英语（en）。
• 高效性能：相比基础模型，效率提升了5倍，适合在低功耗或移动设备上部署。
• 基于优质数据集训练：在Vikhrmodels/GrandMaster-PRO-MAX数据集上进行训练。

📦 安装指南

文档中未提及具体安装步骤，故跳过此章节。

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer

# 加载模型
model_name = "Vikhrmodels/Vikhr-Llama-3.2-1B-instruct"
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# 输入文本
input_text = "–ù–∞–ø–∏—à–∏ –æ—á–µ–Ω—å –∫—Ä–∞—Ç–∫—É—é —Ä–µ—Ü–µ–Ω–∑–∏—é –æ –∫–Ω–∏–≥–µ –≥–∞—Ä—Ä–∏ –ø–æ—Ç—Ç–µ—Ä."

# 编码输入文本
input_ids = tokenizer.encode(input_text, return_tensors="pt")
output = model.generate(
  input_ids,
  max_length=1512,
  temperature=0.3,
  num_return_sequences=1,
  no_repeat_ngram_size=2,
  top_k=50,
  top_p=0.95,
  )

# 解码输出
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

高级用法

文档中未提及高级用法相关代码，故跳过此部分。

📚 详细文档

模型信息

模型训练

为了创建Vikhr-Llama-3.2-1B-instruct，使用了SFT（Supervised Fine-Tuning）方法。该模型在合成数据集Vikhrmodels/GrandMaster-PRO-MAX（150k指令）上进行训练，并支持CoT（Chain-Of-Thought），利用了GPT-4-turbo的提示。

运行SFT的脚本可以在我们的GitHub仓库中找到：effective_llm_alignment。

模型响应示例

文档中给出了关于模型对特定输入的响应解释，但由于内容为俄语且较复杂，暂未进行详细翻译，保留原文供参考：

–ö—Ä–∞—Ç–∫–∞—è —Ä–µ—Ü–µ–Ω–∑–∏—è –Ω–∞ –∫–Ω–∏–≥—É "–ì–∞—Ä—Ä–∏ –ü–æ—Ç—Ç–µ—Ä"

"Гарри Поттер" — это серия книг, написанная Дж. К. Роулинг, которая стала культовой в мире детских литературы. Книги рассказывают о жизни и приключениях молодого ученика по имени Гарри Поттер, который стал знаменитым по своей способности к магии.

–û—Å–Ω–æ–≤–Ω—ã–µ –º–æ–º–µ–Ω—Ç—ã:

1. Введение в мир Гарри Поттера: Книги начинаются с описания Гарри, его семьи и школы, где он изучает магию. Гарри — необычный ученик, который не имеет магических способностей, но обладает уникальным умом и способностью к решению проблем.

2. –°–æ—Ü–∏–∞–ª—å–Ω—ã–µ –∏ –ø–æ–ª–∏—Ç–∏—á–µ—Å–∫–∏–µ –∞—Å–ø–µ–∫—Ç—ã: –í –∫–Ω–∏–≥–∞—Ö —Ä–∞—Å—Å–º–∞—Ç—Ä–∏–≤–∞—é—Ç—Å—è —Å–æ—Ü–∏–∞–ª—å–Ω—ã–µ –∏ –ø–æ–ª–∏—Ç–∏—á–µ—Å–∫–∏–µ –∞—Å–ø–µ–∫—Ç—ã, —Ç–∞–∫–∏–µ –∫–∞–∫ –ø—Ä–∞–≤–∏—Ç–µ–ª—å—Å—Ç–≤–æ, –º–∞–≥–∏—á–µ—Å–∫–∏–µ –æ–±—â–µ—Å—Ç–≤–∞, –∏ –∏—Ö –≤–∑–∞–∏–º–æ–¥–µ–π—Å—Ç–≤–∏–µ.

3. –ú–∞–≥–∏—á–µ—Å–∫–∏–µ –ø—Ä–∏–∫–ª—é—á–µ–Ω–∏—è: –ì–∞—Ä—Ä–∏ –∏ –µ–≥–æ –¥—Ä—É–∑—å—è, –≤–∫–ª—é—á–∞—è –†–æ–Ω –∏ –•—ç–ª, —Å—Ç–∞–ª–∫–∏–≤–∞—é—Ç—Å—è —Å –º–Ω–æ–∂–µ—Å—Ç–≤–æ–º –º–∞–≥–∏—á–µ—Å–∫–∏—Ö —É–≥—Ä–æ–∑, –≤–∫–ª—é—á–∞—è –∑–ª–æ–¥–µ–µ–≤, —Ç–∞–∫–∏–µ –∫–∞–∫ –í–æ–ª—à–µ–±–Ω—ã–π –í–æ–π–Ω—É–∫ –∏ –°–∞—Ç–∞–Ω.

4. –†–∞–∑–≤–∏—Ç–∏–µ –ø–µ—Ä—Å–æ–Ω–∞–∂–µ–π: –í –∫–Ω–∏–≥–∞—Ö —Ä–∞–∑–≤–∏–≤–∞—é—Ç—Å—è –ø–µ—Ä—Å–æ–Ω–∞–∂–∏, –∏—Ö –º–æ—Ç–∏–≤–∞—Ü–∏–∏ –∏ –æ—Ç–Ω–æ—à–µ–Ω–∏—è —Å –¥—Ä—É–≥–∏–º–∏ –ø–µ—Ä—Å–æ–Ω–∞–∂–∞–º–∏.

5. –§–∏–ª–æ—Å–æ—Ñ—Å–∫–∏–µ –∏ –º–æ—Ä–∞–ª—å–Ω—ã–µ –≤–æ–ø—Ä–æ—Å—ã: –ö–Ω–∏–≥–∏ –∑–∞—Ç—Ä–∞–≥–∏–≤–∞—é—Ç —Ç–µ–º—ã, —Ç–∞–∫–∏–µ –∫–∞–∫ –≤–µ—Ä–∞, –¥–æ–±—Ä–æ—Ç–∞, —Å–ø—Ä–∞–≤–µ–¥–ª–∏–≤–æ—Å—Ç—å –∏ –º–æ—Ä–∞–ª—å–Ω—ã–µ –¥–∏–ª–µ–º–º—ã.

–ó–∞–∫–ª—é—á–µ–Ω–∏–µ:

"Гарри Поттер" — это не только история о молодом ученике, но и глубокое исследование человеческого опыта, социальных норм и моральных дилемм. Книги привлекают читателей своими захватывающими, яркими персонажами и глубокими философскими размышлениями. Они являются не только увлекательным приключением, но и важным источником вдохновения для многих людей.

模型指标

🔧 技术细节

文档中未提及具体技术细节，故跳过此章节。

📄 许可证

该模型的许可证为llama3.2。

📖 作者信息

• Sergei Bratchikov, NLP Wanderer, Vikhr Team
• Nikolay Kompanets, LakoMoor, Vikhr Team
• Konstantin Korolev, Vikhr Team
• Aleksandr Nikolich, Vikhr Team

引用信息

@article{nikolich2024vikhr,
  title={Vikhr: The Family of Open-Source Instruction-Tuned Large Language Models for Russian},
  author={Aleksandr Nikolich and Konstantin Korolev and Sergey Bratchikov and Nikolay Kompanets and Artem Shelmanov},
  journal={arXiv preprint arXiv:2405.13929},
  year={2024},
  url={https://arxiv.org/pdf/2405.13929}
}