Bggpt 7B Instruct V0.1

🚀 INSAIT-Institute/BgGPT-7B-Instruct-v0.1

BgGPT-7B是一款基於保加利亞語的模型，它在保加利亞語處理方面表現出色，為保加利亞語相關的應用場景提供了有力支持。

BgGPT-7B是基於mistralai/Mistral-7B-v0.1訓練的保加利亞語模型，該模型遵循Apache 2.0許可協議進行分發。

此模型由保加利亞索非亞大學旗下的INSAIT Institute創建。

✨ 主要特性

模型描述

該模型通過使用多個數據集進行微調，以提高其保加利亞語能力，這些數據集包括保加利亞網絡爬取數據、INSAIT Institute提供的一系列保加利亞專業數據集，以及流行英語數據集的機器翻譯數據。為了保留英語和邏輯推理能力，保加利亞語數據中還加入了英語數據集。

模型的分詞器進行了擴展，以便更高效地對用西裡爾字母書寫的保加利亞語單詞進行編碼，這不僅提高了西里爾文本的處理速度，還提升了性能。

指令格式

為了利用指令微調，你的提示應該用[INST]和[/INST]標記包圍。第一條指令應以句子開始標記<s>開頭，後續指令則不需要。助手生成的內容將以句子結束標記結束。

例如：

text = "<s>[INST] –ö–æ–≥–∞ –µ –æ—Å–Ω–æ–≤–∞–Ω –°–æ—Ñ–∏–π—Å–∫–∏—è—Ç —É–Ω–∏–≤–µ—Ä—Å–∏—Ç–µ—Ç? [/INST]"
"Софийският университет „Св. Климент Охридски“ е създаден на 1 октомври 1888 г.</s> "
"[INST] –ö–æ–π –≥–æ –µ –æ—Å–Ω–æ–≤–∞–ª? [/INST]"

這種格式可以通過apply_chat_template()方法作為聊天模板使用。

基準測試

該模型附帶了一組基準測試，這些測試是相應英語基準測試的翻譯版本，可在https://github.com/insait-institute/lm-evaluation-harness-bg查看。

總結

📦 安裝指南

在Transformers中使用

首先安裝直接依賴項：

pip install transformers torch accelerate

如果你想使用flash-attention2進行更快的推理，需要安裝以下依賴項：

pip install packaging ninja
pip install flash-attn

然後在transformers中加載模型：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model = AutoModelForCausalLM.from_pretrained(
    model="INSAIT-Institute/BgGPT-7B-Instruct-v0.1",
    device_map="auto",
    torch_dtype=torch.bfloat16,
    use_flash_attn_2=True # 可選
)

使用GGML / llama.cpp

GGUF格式的模型可在INSAIT-Institute/BgGPT-7B-Instruct-v0.1-GGUF獲取。

📄 許可證

該模型遵循Apache 2.0許可協議。