Irbis 7b V0.1

🚀 Irbis-7B

Irbis-7Bは、トランスフォーマーアーキテクチャに基づく言語モデルで、カザフ語に適応されています。このモデルは、カザフ語のテキスト処理において、他のオープンソースのモデルと比較して、著しく高い性能を発揮します。

🚀 クイックスタート

Irbis-7Bは、トランスフォーマーアーキテクチャに基づく言語モデルで、カザフ語に特化して適応されています。以下の手順で、このモデルを試すことができます。

✨ 主な機能

• 改良されたトークナイザー - トークナイザーの語彙は、32kから60kトークンに拡張され、より多くのカザフ語の単語が含まれるようになりました。これにより、カザフ語のトークン化の効率が向上しました。
• 事前学習 - モデルは、主にカザフ語と少量のロシア語のテキスト20GBで事前学習され、新しいトークナイザーとの調整が行われました。

結果として、このモデルは、他のオープンソースのモデルと比較して、カザフ語での動作品質が著しく向上しています。新しいトークナイザーにより、テキスト生成速度が3 - 4倍に向上し、コンテキストウィンドウの充填も最適化されています。

詳細については、こちらの記事を参照してください。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig
import torch

model_name = "Gen2B/Irbis-7b-v0.1"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    return_dict=True,
    torch_dtype=torch.float16,
    device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Сұрақ: Шөп неге жасыл?\nЖауап: "

input_ids = tokenizer([prompt], return_tensors = "pt")["input_ids"].to("cuda")

generation_config = GenerationConfig(
    temperature=0.6,
    repetition_penalty=1.15
)
print("Generating...")
generation_output = model.generate(
    input_ids=input_ids,
    generation_config=generation_config,
    return_dict_in_generate=True,
    output_scores=True,
    max_new_tokens=2048,
    pad_token_id=tokenizer.eos_token_id,
)
for s in generation_output.sequences:
    print(tokenizer.decode(s)) # Өсімдіктер ауасыз өмір сүре алмайды, сондықтан олар жасыл түсті болады.

📄 ライセンス

このライブラリはMITライセンスの下で提供されています。