Gemma3 12b Indic

🚀 Gemma-3-12B Indic

Get ready! This isn't just any language model; it's Google's Gemma-3-12B, supercharged with full Supervised Fine-Tuning (SFT) specifically for Indic languages, starting with Telugu! Trained on a custom dataset packed with Telugu questions and answers, this model is designed to understand, converse, and generate text like a native speaker.

We're working our way through all major Indic languages to create a comprehensive multilingual Indic assistant.

✨ Features

Indic Language Support Roadmap

✨ Sample Interaction

Curious about what it can do? Here's a sneak peek:

User ( ప్రశ్న ): ఇండియాలో గ్రోసరీస్ మీద డబ్బులు సేవ్ చేయడానికి బెస్ట్ వేస్ ఏంటి? (What are the best ways to save money on groceries in India?)

Model ( జవాబు ): ఇండియాలో కిరాణా సామాన్ల మీద డబ్బులు సేవ్ చేయడానికి కొన్ని బెస్ట్ వేస్ ఇక్కడ ఉన్నాయి, చూడు:

1. బడ్జెట్ పెట్టుకో: ఫస్ట్ థింగ్ ఫస్ట్, కిరాణా షాపింగ్ కి ఒక ఫిక్స్‌డ్ బడ్జెట్ పెట్టుకో. నెలకి ఎంత ఖర్చు పెట్టాలో ముందుగానే డిసైడ్ అయితే, ఎక్కువ ఖర్చు పెట్టకుండా ఉండొచ్చు.
2. ప్లాన్ ప్రకారం షాపింగ్: షాపింగ్ కి వెళ్ళేముందు ఏం కొనాలి, ఎంత కొనాలి అని ఒక లిస్ట్ ప్రిపేర్ చేసుకో. లిస్ట్ లేకుండా వెళ్తే, అన్నీ కొనేస్తాం, బడ్జెట్ కూడా దాటిపోతుంది.
3. డిస్కౌంట్స్ వెతుకు: సూపర్ మార్కెట్స్ లో డిస్కౌంట్స్, ఆఫర్స్ చాలా ఉంటాయి. వాటిని గమనిస్తూ ఉండు. కొన్నిసార్లు బండిల్ డీల్స్ కూడా ఉంటాయి, అవి చూస్తే మంచి సేవింగ్స్ ఉంటాయి.
4. బల్క్ లో కొనడం బెటర్: కొన్ని ఐటమ్స్ ని బల్క్ లో కొంటే రేట్ తక్కువ వస్తుంది. ముఖ్యంగా పప్పులు, నూనెలు, పప్పులు లాంటివి ఎక్కువ రోజులు నిల్వ ఉంటాయి కాబట్టి బల్క్ లో కొనొచ్చు.
5. సీజనల్ గా కొనడం స్మార్ట్: ఏ సీజన్ లో ఏది తక్కువ రేటుకి దొరుకుతుందో చూసుకొని కొనడం చాలా ముఖ్యం. సమ్మర్ లో పండ్లు, వింటర్ లో వెజిటేబుల్స్ తక్కువ రేటుకి వస్తాయి. వాటిని యూస్ చేసుకో.

🚀 Quick Start

Get started with the model using the transformers library:

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# Load model and tokenizer
model_name = "bharathkumar1922001/Gemma3-12b-Indic"
tokenizer = AutoTokenizer.from_pretrained(model_name)

# Recommend using eager attention based on stability testing
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16, # Match training precision
    device_map="auto",          # Loads across available GPUs/CPU
    attn_implementation="eager" # Recommended for Gemma 3 stability
)
model.eval() # Set to evaluation mode for inference

# Format your prompt using the model's template
question = "ఆర్థిక మాంద్యాన్ని ప్రభుత్వాలు ఎలా పరిష్కరించగలవు?" # Example: How can governments solve economic recession?
prompt = f"<start_of_turn>user\n{question}<end_of_turn>\n<start_of_turn>model\n"

# Tokenize and generate
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
    **inputs,
    max_new_tokens=512, # Adjust max length as needed
    temperature=0.7,    # Controls randomness (lower = more deterministic)
    top_p=0.95,         # Nucleus sampling probability
    top_k=50,           # Top-k sampling
    do_sample=True,     # Enable sampling based strategies
    eos_token_id=tokenizer.eos_token_id # Or specific ID like tokenizer.convert_tokens_to_ids("<end_of_turn>")[0]
)

# Decode the response (excluding the input prompt)
response_ids = outputs[0, inputs.input_ids.shape[1]:]
response = tokenizer.decode(response_ids, skip_special_tokens=True)

print("--- Question ---")
print(question)
print("\n--- Response ---")
print(response)

📚 Documentation

Model & Training Details

This model didn't train itself! Here's the behind-the-scenes scoop:

Key Hyperparameters:

• Batch Size (Per Device): 2
• Gradient Accumulation: 32 (Effective Batch Size: 512)
• Learning Rate: 2e-5 (Cosine Scheduler)
• Epochs Trained: ~2.97
• Max Sequence Length: 4096

Training Metrics:

• Final Train Loss: 0.7232
• Train Samples/Second: 11.083
• Total FLOPs: ~7.88e18 (That's a lot of math! 🤓)

🔮 Coming Soon

Exciting developments on the horizon:

1. Indic TTS (Text-to-Speech) - We're developing a companion TTS model that will bring these responses to life with natural-sounding Indic language speech synthesis!

2. Hindi-first LLM - We're working on a specialized fine-tuning track with Hindi as the primary language, while still maintaining multilingual Indic capabilities.

3. More Indic languages - We're methodically working through all major Indic languages to create the most comprehensive Indic language assistant available.

📄 License

This project is licensed under the Apache-2.0 license.

Contact

For collaborations, custom deployments, or any queries regarding this model, please reach out to us.