MKLLM 7B Instruct

🚀 MKLLM-7B-Instruct

MKLLM-7Bは、マケドニア語用のオープンソース大規模言語モデルです。このモデルは、素晴らしいMistral-7B-v0.1モデルをベースに、マケドニア語と英語のテキストの混合データで継続事前学習を行って構築されています。

学習には約3億トークンのコーパスを2エポックで繰り返し使用しました。他の類似プロジェクトと比べるとこれは小規模と見なされるかもしれませんが、結果として得られたモデルはマケドニア語の理解と処理能力が非常に高いです。

これはMKLLM-7Bの命令調整版です。MKLLM-7Bを元に、axolotlを使用してchatml形式の会話で完全な命令学習を行って訓練されました。

我々は、マケドニア語に翻訳した一連のベンチマークで、このモデルをMetaのLlama3-8B-InstructおよびMistralのMistral-7B-Instruct-v0.3と比較しました。その結果、このモデルは同カテゴリの両リーディングモデルよりも優れた性能を発揮しました。

さらに、これらのベンチマークは主に理解能力に焦点を当てており、生成能力や流暢性を測定していません。これらのカテゴリでは、MKLLM-7B-Instructがより首尾一貫したマケドニア語を生成するため、性能の差はさらに大きいと考えられます。

ベンチマークはこちらで行われました: https://github.com/N13T/mk-llm-eval

命令学習を活用するには、プロンプトをchatml形式に従う必要があります。

<|im_start|>system
好奇心旺盛なユーザーと人工知能アシスタントの会話。アシスタントはユーザーの質問に役立つ、詳細な、そして親切な回答を提供します。<|im_end|>
<|im_start|>user
「赤色の惑星」として知られている惑星はどれですか？<|im_end|>
<|im_start|>assistant
火星<|im_end|> 

このプロンプトはチャットテンプレートとして利用可能です。つまり、tokenizer.apply_chat_template()メソッドを使ってメッセージをフォーマットできます。

messages = [
    {"role": "system", "content": "好奇心旺盛なユーザーと人工知能アシスタントの会話。アシスタントはユーザーの質問に役立つ、詳細な、そして親切な回答を提供します。"},
    {"role": "user", "content": "「赤色の惑星」として知られている惑星はどれですか？"}
]
gen_input = tokenizer.apply_chat_template(messages, 
                                          tokenize=True,
                                          return_dict=True,
                                          return_tensors="pt",
                                          add_generation_prompt=True).to("cuda")
with torch.no_grad():
  generated_ids = model.generate(**gen_input, max_new_tokens=150,
                                                do_sample=True,
                                                temperature=0.1,
                                                repetition_penalty=1.1,
                                 )
print(tokenizer.decode(generated_ids[0][prompt["input_ids"].shape[1]:], skip_special_tokens=False))

注意事項

• MKLLM-7B-Instructは、幻覚を起こし、事実に誤りのある出力を生成することがあります。特に、学習データセットが小さいため、マケドニア語のトピックを議論する際にこの傾向が顕著です。

📄 ライセンス

このモデルはCC BY-NC-SA 4.0ライセンスの下で提供されています。