Dorna2 Llama3.1 8B Instruct

🚀 Dorna2-Llama3.1-8B-Instructモデル

Dornaモデルは、Part AIによって開発された、ペルシャ語データでトレーニング/ファインチューニングされたデコーダー専用のモデルファミリーです。新しくリリースされた8Bの命令型モデルが提供されています。Dorna2-Llama3.1-8B-Instructは、Meta Llama 3.1 Instructモデルをベースに構築されています。

🚀 クイックスタート

Hugging Face Spacesでモデルを無料でテストおよび使用するには、こちらをクリックしてください！

TransformersのAutoクラスとgenerate()関数を使用して会話推論を実行することもできます。例を見てみましょう。

基本的な使用法

import torch
import transformers
from transformers import AutoTokenizer, AutoModelForCausalLM


tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

messages = [
    {"role": "system",
     "content": "You are a helpful Persian assistant. Please answer questions in the asked language."},
    {"role": "user", "content": "مثال A4 اندازه صفحه نسبت به A5 چقدر است؟"},
]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.3,
    top_p=0.85,
)
response = outputs[0][input_ids.shape[-1]:]
print(tokenizer.decode(response, skip_special_tokens=True))

また、以下のノートブックを使用して、Google Colabでモデルをテストすることもできます。

📚 ドキュメント

評価

比較評価

この評価では、PartAI/Dorna2-Llama3.1-8B-Instruct、meta-llama/Llama-3.1-8B-Instruct、および他のファインチューニングされたLlama3.1-8Bモデルを比較しています。様々な大規模言語モデル（LLM）間の幅広い比較については、複数のLLMにわたる包括的な評価を提供するOpen Persian LLM Leaderboardを参照してください。

タスクと評価フレームワーク

モデルを評価およびベンチマークするために、5つの特殊なタスクが慎重に選ばれています。各タスクは、モデルの能力の異なる側面をテストするように設計されています。これらのタスクには以下のものが含まれます。

• Part Multiple Choice：選択式の形式で一般知識と推論能力をテストします。
• ARC Easy：簡単なレベルの一般知識をテストします。
• ARC Challenge：高度な推論が必要な難しい質問でモデルを評価します。
• MMLU Pro：専門レベルの試験をカバーします。
• AUT Multiple Choice Persian：専用のペルシャ語試験です。

各データセットは完全にペルシャ語で構成されており、非英語環境でのLLMに対して独自かつ堅牢なテスト環境を提供します。全体として、データセットには40k以上のサンプルが含まれており、一般知識、推論、要約、および専門試験など、多様な言語的および技術的な課題が含まれています。

評価結果

📄 ライセンス

このモデルのライセンスはllama3.1です。

📞 お問い合わせ

このモデルに関する質問がある場合は、Hugging Faceのコミュニティを通じてお問い合わせください。

モデル情報