Aryabhatta GemmaOrca Merged

🚀 AryaBhatta-GemmaOrcaモデル

このモデルは、AryaBhatta - 1とAryaBhatta - 2の2つのモデルシリーズの一部で、HuggingFaceH4/zephyr - 7b - gemma - v0.1またはGoogle/gemmaからファインチューニングされています。9つのインドの言語（ヒンディー語、タミル語、パンジャブ語、ベンガル語、グジャラート語、オリヤー語、テルグ語、カンナダ語、マラヤーラム語）と英語でファインチューニングされています。

✨ 主な機能

• 2種類のモデルがあり、1つはGoogleのGemmaをベースに、もう1つはZephyrのGemmaベースをベースにファインチューニングされています。もう一方のモデル（Zephyrベース）のリポジトリは、GenVRadmin/AryaBhatta - GemmaOrca - 2 - Mergedです。
• 推論と数学のスキルを向上させるために、まずMicrosoftのOrcaデータセットでGemmaをSFTチューニングします。
• 様々なオープンソースのデータセットでファインチューニングされており、ベンチマークで良好なスコアを達成しています。

📦 インストール

このセクションでは、インストールに関する具体的なコマンドが提供されていないため、スキップされます。

💻 使用例

基本的な使用法

from peft import AutoPeftModelForCausalLM
from transformers import AutoTokenizer

model = AutoPeftModelForCausalLM.from_pretrained(
    "GenVRadmin/AryaBhatta-GemmaOrca",
    load_in_4bit = False,
    token = hf_token
)
tokenizer = AutoTokenizer.from_pretrained("GenVRadmin/AryaBhatta-GemmaOrca")

input_prompt = """
### Instruction:
{}

### Input:
{}

### Response:
{}"""

input_text = input_prompt.format(
        "Answer this question about India.", # instruction
        "Who is the Prime Minister of India", # input
        "", # output - leave this blank for generation!
    )

inputs = tokenizer([input_text], return_tensors = "pt").to("cuda")

outputs = model.generate(**inputs, max_new_tokens = 300, use_cache = True)
response = tokenizer.batch_decode(outputs)[0]

📚 ドキュメント

モデルのファインチューニング

• 推論と数学のスキル向上のために、まずMicrosoftのOrcaデータセットでGemmaをSFTチューニングします。利用するデータセットは、GenVRadmin/Aryabhatta - Orca - Maths - Hindiとmicrosoft/orca - math - word - problems - 200kです。これにより、MATHSスコアがGemma - 7Bの24.3から、Zephyr - Gemmaでは25.5、GemmaOrcaでは31.6に向上します。
• その後、GenVRのSamvaadデータセット（GenVRadmin/Samvaad - Indic - Positive、GenVRadmin/Samvaad - Tamil - Mixtral、GenVRadmin/Samvaad - Mixed - Language - 3のサブセット）でファインチューニングされます。
• 最後に、様々なオープンソースのデータセットでファインチューニングされます。具体的なデータセットは以下の通りです。
  • Telugu-LLM-Labs/yahma_alpaca_cleaned_telugu_filtered_and_romanized
  • Telugu-LLM-Labs/teknium_GPTeacher_general_instruct_telugu_filtered_and_romanized
  • abhinand/tamil-alpaca
  • Tensoic/airoboros-3.2_kn
  • Tensoic/gpt-teacher_kn
  • Tensoic/Alpaca-Gujarati
  • HydraIndicLM/bengali_alpaca_dolly_67k
  • Open-Orca/OpenOrca
  • pankajmathur/alpaca_orca
  • OdiaGenAI/Odia_Alpaca_instructions_52k
  • OdiaGenAI/gpt-teacher-roleplay-odia-3k
  • GenVRadmin/Samvaad-Punjabi-Mini
  • pankajmathur/WizardLM_Orca

ベンチマークスコア

📄 ライセンス

このモデルはMITライセンスの下で提供されています。