Ganga-2-1B开源指令微调模型 - 免费部署处理印度语言多样性

首页

Ganga 2 1B

由 LingoIITGN 开发

Ganga-2-1b是一个基于印地语数据集训练的指令微调模型，是Project Unity项目的一部分，旨在处理印度语言的多样性和丰富性。

大型语言模型

Transformers

支持多种语言开源协议:Apache-2.0 #印地语单语模型 #高性能印度语言处理 #指令微调

下载量 598

发布时间 : 1/27/2025

模型简介

这是一个文本补全模型，主要用于下游任务的微调，不适合直接用作聊天或指令跟随模型。

模型特点

印度首个预训练印地语模型

这是印度任何学术研究实验室推出的首个预训练印地语模型。

高性能

在性能上优于现有的支持印度语言的开源模型，即使这些模型的参数规模高达70亿。

高质量数据集

数据集包括新闻文章、网页文档、书籍、政府出版物、教育材料和社交媒体对话，并由印度母语人士进一步筛选。

模型能力

文本生成

印地语文本处理

英语文本处理

使用案例

翻译

英印翻译

将英语文本翻译为印地语。

文本补全

印地语文本补全

根据给定的印地语文本提示生成后续内容。

🚀 Ganga-2-1b模型卡片

Ganga-2-1b是一个经过指令微调的模型，它基于单语的印地语数据集进行训练，是Project Unity项目的一部分。我们提出Ganga这个名字，是为了向流经印度印地语地区的最长河流致敬。

(这是印度任何学术研究实验室推出的首个预训练印地语模型！)

免责声明：这是一个文本补全模型，旨在用于下游任务的微调。它不适合直接用作聊天或指令跟随模型。

image/png

🚀 快速开始

使用以下代码开始使用该模型：

from transformers import AutoModelForCausalLM, AutoTokenizer
    
tokenizer = AutoTokenizer.from_pretrained("LingoIITGN/ganga-2-1b")
model = AutoModelForCausalLM.from_pretrained("LingoIITGN/ganga-2-1b", device_map="auto")
  input_text = 'Translate it into Hindi "Innovation is the key to solving complex problems in the modern world."'
#input_text = '‡§á‡§∏ ‡§µ‡§æ‡§ï‡•ç‡§Ø ‡§ï‡§æ ‡§∏‡§π‡•Ä ‡§Ö‡§Ç‡§ó‡•ç‡§∞‡•á‡§ú‡§º‡•Ä ‡§Ö‡§®‡•Å‡§µ‡§æ‡§¶ ‡§ï‡§∞‡•á‡§Ç "‡§ú‡•Ä‡§µ‡§® ‡§Æ‡•á‡§Ç ‡§Ö‡§∏‡§≤‡•Ä ‡§ú‡•Ä‡§§ ‡§µ‡§π‡•Ä ‡§π‡•à, ‡§ú‡§¨ ‡§Ü‡§™ ‡§Ö‡§™‡§®‡•á ‡§°‡§∞ ‡§ï‡•ã ‡§π‡§∞‡§æ ‡§¶‡•á‡§Ç‡•§"'
#input_text = 'What is capital city of India?'
input_ids = tokenizer.encode("<bos><user>" + input_text + "<assistant>",
            return_tensors="pt").to("cuda")
outputs = model.generate(input_ids, max_new_tokens=100,
          do_sample=False)
print(tokenizer.decode(outputs[0]))

✨ 主要特性

Project Unity旨在通过创建涵盖印度主要语言的综合资源，来应对印度语言的多样性和丰富性。我们致力于在理解和生成印度语言文本方面实现最先进的性能。

为了实现这一目标，我们在印度的单语地区语言上训练模型。我们的首个发布版本是Ganga-1B模型，该模型在大量公共领域网络抓取的印地语数据上进行训练，这些数据包括新闻文章、网页文档、书籍、政府出版物、教育材料和社交媒体对话（经过质量过滤）。此外，该数据集还由印度母语人士进一步筛选，以确保高质量。

值得注意的是，Ganga-2-1B模型在性能上优于现有的支持印度语言的开源模型，即使这些模型的参数规模高达70亿。

📦 安装指南

暂未提供相关安装步骤内容。

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer
    
tokenizer = AutoTokenizer.from_pretrained("LingoIITGN/ganga-2-1b")
model = AutoModelForCausalLM.from_pretrained("LingoIITGN/ganga-2-1b", device_map="auto")
  input_text = 'Translate it into Hindi "Innovation is the key to solving complex problems in the modern world."'
#input_text = '‡§á‡§∏ ‡§µ‡§æ‡§ï‡•ç‡§Ø ‡§ï‡§æ ‡§∏‡§π‡•Ä ‡§Ö‡§Ç‡§ó‡•ç‡§∞‡•á‡§ú‡§º‡•Ä ‡§Ö‡§®‡•Å‡§µ‡§æ‡§¶ ‡§ï‡§∞‡•á‡§Ç "‡§ú‡•Ä‡§µ‡§® ‡§Æ‡•á‡§Ç ‡§Ö‡§∏‡§≤‡•Ä ‡§ú‡•Ä‡§§ ‡§µ‡§π‡•Ä ‡§π‡•à, ‡§ú‡§¨ ‡§Ü‡§™ ‡§Ö‡§™‡§®‡•á ‡§°‡§∞ ‡§ï‡•ã ‡§π‡§∞‡§æ ‡§¶‡•á‡§Ç‡•§"'
#input_text = 'What is capital city of India?'
input_ids = tokenizer.encode("<bos><user>" + input_text + "<assistant>",
            return_tensors="pt").to("cuda")
outputs = model.generate(input_ids, max_new_tokens=100,
          do_sample=False)
print(tokenizer.decode(outputs[0]))