Aryabhatta GemmaOrca Merged

🚀 阿耶波多（AryaBhatta）模型

本項目的阿耶波多（AryaBhatta）模型是阿耶波多 - 1和阿耶波多 - 2兩個模型系列的一部分。該模型基於HuggingFaceH4/zephyr - 7b - gemma - v0.1或Google/gemma進行微調，在9種印度語言（印地語、泰米爾語、旁遮普語、孟加拉語、古吉拉特語、奧里亞語、泰盧固語、卡納達語、馬拉雅拉姆語）以及英語的語料上進行了優化訓練。

🚀 快速開始

模型使用示例

from peft import AutoPeftModelForCausalLM
from transformers import AutoTokenizer

model = AutoPeftModelForCausalLM.from_pretrained(
    "GenVRadmin/AryaBhatta-GemmaOrca",
    load_in_4bit = False,
    token = hf_token
)
tokenizer = AutoTokenizer.from_pretrained("GenVRadmin/AryaBhatta-GemmaOrca")

input_prompt = """
### Instruction:
{}

### Input:
{}

### Response:
{}"""

input_text = input_prompt.format(
        "Answer this question about India.", # instruction
        "Who is the Prime Minister of India", # input
        "", # output - leave this blank for generation!
    )

inputs = tokenizer([input_text], return_tensors = "pt").to("cuda")

outputs = model.generate(**inputs, max_new_tokens = 300, use_cache = True)
response = tokenizer.batch_decode(outputs)[0]

✨ 主要特性

• 多語言支持：模型在9種印度語言和英語上進行微調，具備出色的多語言處理能力。
• 推理和數學能力提升：通過在微軟Orca數據集上進行監督微調（SFT），顯著提升了模型的推理和數學技能。
• 多數據集微調：除了Orca數據集，還在GenVR的Samvaad數據集以及多個開源數據集上進行了微調，增強了模型的泛化能力。

🔧 技術細節

模型基礎

本項目有兩個模型，一個基於Google的Gemma進行微調，另一個基於Zephyr的Gemma基礎模型進行微調。另一個模型（Zephyr版本）的倉庫地址為：GenVRadmin/AryaBhatta - GemmaOrca - 2 - Merged。

微調過程

1. Orca數據集微調：為了提高模型的推理和數學技能，首先在微軟的Orca數據集上對Gemma進行監督微調（SFT）。使用了Orca數學印地語數據集（GenVRadmin/Aryabhatta - Orca - Maths - Hindi）和原始的Orca數學數據集（microsoft/orca - math - word - problems - 200k）。這使得模型的數學得分從Gemma - 7B的24.3提升到Zephyr - Gemma的25.5，以及GemmaOrca的31.6。
2. Samvaad數據集微調：模型隨後在GenVR的Samvaad數據集（GenVRadmin/Samvaad - Indic - Positive、GenVRadmin/Samvaad - Tamil - Mixtral和GenVRadmin/Samvaad - Mixed - Language - 3的一個子集）上進行微調。
3. 開源數據集微調：最後，模型在多個開源數據集上進行微調，包括：
   • Telugu - LLM - Labs/yahma_alpaca_cleaned_telugu_filtered_and_romanized
   • Telugu - LLM - Labs/teknium_GPTeacher_general_instruct_telugu_filtered_and_romanized
   • abhinand/tamil - alpaca
   • Tensoic/airoboros - 3.2_kn
   • Tensoic/gpt - teacher_kn
   • Tensoic/Alpaca - Gujarati
   • HydraIndicLM/bengali_alpaca_dolly_67k
   • Open - Orca/OpenOrca
   • pankajmathur/alpaca_orca
   • OdiaGenAI/Odia_Alpaca_instructions_52k
   • OdiaGenAI/gpt - teacher - roleplay - odia - 3k
   • GenVRadmin/Samvaad - Punjabi - Mini
   • pankajmathur/WizardLM_Orca

基準測試成績

📄 許可證

本項目採用MIT許可證。