Irbis 7b V0.1

🚀 Irbis-7B

Irbis-7B是一個基於Transformer架構的語言模型，專為哈薩克語進行了適配。它能夠有效處理哈薩克語相關的文本生成任務，在哈薩克語處理方面有著顯著優勢。

🚀 快速開始

試用代碼

from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig
import torch

model_name = "Gen2B/Irbis-7b-v0.1"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    return_dict=True,
    torch_dtype=torch.float16,
    device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Сұрақ: Шөп неге жасыл?\nЖауап: "

input_ids = tokenizer([prompt], return_tensors = "pt")["input_ids"].to("cuda")

generation_config = GenerationConfig(
    temperature=0.6,
    repetition_penalty=1.15
)
print("Generating...")
generation_output = model.generate(
    input_ids=input_ids,
    generation_config=generation_config,
    return_dict_in_generate=True,
    output_scores=True,
    max_new_tokens=2048,
    pad_token_id=tokenizer.eos_token_id,
)
for s in generation_output.sequences:
    print(tokenizer.decode(s)) # Өсімдіктер ауасыз өмір сүре алмайды, сондықтан олар жасыл түсті болады.

✨ 主要特性

• 優化的分詞器：分詞器的詞彙表從32k擴展到了60k個標記，包含了更多哈薩克語詞彙，顯著提升了哈薩克語的分詞效率。
• 預訓練優勢：該模型在20GB主要為哈薩克語、少量為俄語的文本上進行了預訓練，以適配新的分詞器。

綜合這些特性，與其他開源模型相比，Irbis-7B在處理哈薩克語時表現出了更好的性能。新的分詞器使文本生成速度提高了3 - 4倍，同時也優化了上下文窗口的填充。

📚 詳細文檔

更多詳細信息可閱讀文章。

📄 許可證

本項目採用MIT許可證。

模型相關信息