Ganga-2-1B開源指令微調模型 - 免費部署處理印度語言多樣性

首頁

Ganga 2 1B

由LingoIITGN開發

Ganga-2-1b是一個基於印地語數據集訓練的指令微調模型，是Project Unity項目的一部分，旨在處理印度語言的多樣性和豐富性。

大型語言模型

Transformers

支持多種語言開源協議:Apache-2.0 #印地語單語模型 #高性能印度語言處理 #指令微調

下載量 598

發布時間 : 1/27/2025

模型概述

這是一個文本補全模型，主要用於下游任務的微調，不適合直接用作聊天或指令跟隨模型。

模型特點

印度首個預訓練印地語模型

這是印度任何學術研究實驗室推出的首個預訓練印地語模型。

高性能

在性能上優於現有的支持印度語言的開源模型，即使這些模型的參數規模高達70億。

高質量數據集

數據集包括新聞文章、網頁文檔、書籍、政府出版物、教育材料和社交媒體對話，並由印度母語人士進一步篩選。

模型能力

文本生成

印地語文本處理

英語文本處理

使用案例

翻譯

英印翻譯

將英語文本翻譯為印地語。

文本補全

印地語文本補全

根據給定的印地語文本提示生成後續內容。

🚀 Ganga-2-1b模型卡片

Ganga-2-1b是一個經過指令微調的模型，它基於單語的印地語數據集進行訓練，是Project Unity項目的一部分。我們提出Ganga這個名字，是為了向流經印度印地語地區的最長河流致敬。

(這是印度任何學術研究實驗室推出的首個預訓練印地語模型！)

免責聲明：這是一個文本補全模型，旨在用於下游任務的微調。它不適合直接用作聊天或指令跟隨模型。

image/png

🚀 快速開始

使用以下代碼開始使用該模型：

from transformers import AutoModelForCausalLM, AutoTokenizer
    
tokenizer = AutoTokenizer.from_pretrained("LingoIITGN/ganga-2-1b")
model = AutoModelForCausalLM.from_pretrained("LingoIITGN/ganga-2-1b", device_map="auto")
  input_text = 'Translate it into Hindi "Innovation is the key to solving complex problems in the modern world."'
#input_text = '‡§á‡§∏ ‡§µ‡§æ‡§ï‡•ç‡§Ø ‡§ï‡§æ ‡§∏‡§π‡•Ä ‡§Ö‡§Ç‡§ó‡•ç‡§∞‡•á‡§ú‡§º‡•Ä ‡§Ö‡§®‡•Å‡§µ‡§æ‡§¶ ‡§ï‡§∞‡•á‡§Ç "‡§ú‡•Ä‡§µ‡§® ‡§Æ‡•á‡§Ç ‡§Ö‡§∏‡§≤‡•Ä ‡§ú‡•Ä‡§§ ‡§µ‡§π‡•Ä ‡§π‡•à, ‡§ú‡§¨ ‡§Ü‡§™ ‡§Ö‡§™‡§®‡•á ‡§°‡§∞ ‡§ï‡•ã ‡§π‡§∞‡§æ ‡§¶‡•á‡§Ç‡•§"'
#input_text = 'What is capital city of India?'
input_ids = tokenizer.encode("<bos><user>" + input_text + "<assistant>",
            return_tensors="pt").to("cuda")
outputs = model.generate(input_ids, max_new_tokens=100,
          do_sample=False)
print(tokenizer.decode(outputs[0]))

✨ 主要特性

Project Unity旨在通過創建涵蓋印度主要語言的綜合資源，來應對印度語言的多樣性和豐富性。我們致力於在理解和生成印度語言文本方面實現最先進的性能。

為了實現這一目標，我們在印度的單語地區語言上訓練模型。我們的首個發佈版本是Ganga-1B模型，該模型在大量公共領域網絡抓取的印地語數據上進行訓練，這些數據包括新聞文章、網頁文檔、書籍、政府出版物、教育材料和社交媒體對話（經過質量過濾）。此外，該數據集還由印度母語人士進一步篩選，以確保高質量。

值得注意的是，Ganga-2-1B模型在性能上優於現有的支持印度語言的開源模型，即使這些模型的參數規模高達70億。

📦 安裝指南

暫未提供相關安裝步驟內容。

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer
    
tokenizer = AutoTokenizer.from_pretrained("LingoIITGN/ganga-2-1b")
model = AutoModelForCausalLM.from_pretrained("LingoIITGN/ganga-2-1b", device_map="auto")
  input_text = 'Translate it into Hindi "Innovation is the key to solving complex problems in the modern world."'
#input_text = '‡§á‡§∏ ‡§µ‡§æ‡§ï‡•ç‡§Ø ‡§ï‡§æ ‡§∏‡§π‡•Ä ‡§Ö‡§Ç‡§ó‡•ç‡§∞‡•á‡§ú‡§º‡•Ä ‡§Ö‡§®‡•Å‡§µ‡§æ‡§¶ ‡§ï‡§∞‡•á‡§Ç "‡§ú‡•Ä‡§µ‡§® ‡§Æ‡•á‡§Ç ‡§Ö‡§∏‡§≤‡•Ä ‡§ú‡•Ä‡§§ ‡§µ‡§π‡•Ä ‡§π‡•à, ‡§ú‡§¨ ‡§Ü‡§™ ‡§Ö‡§™‡§®‡•á ‡§°‡§∞ ‡§ï‡•ã ‡§π‡§∞‡§æ ‡§¶‡•á‡§Ç‡•§"'
#input_text = 'What is capital city of India?'
input_ids = tokenizer.encode("<bos><user>" + input_text + "<assistant>",
            return_tensors="pt").to("cuda")
outputs = model.generate(input_ids, max_new_tokens=100,
          do_sample=False)
print(tokenizer.decode(outputs[0]))