ガンガ-2-1Bオープンソース命令微調整モデル - インドの言語多様性を無料でデプロイして処理する

ホーム

Ganga 2 1B

LingoIITGNによって開発

Ganga-2-1bはヒンディー語データセットに基づいて訓練された命令微調整モデルで、Project Unityプロジェクトの一部であり、インド語言の多様性と豊かさを処理することを目的としています。

大規模言語モデル

Transformers

複数言語対応オープンソースライセンス:Apache-2.0 #ヒンディー語単言語モデル #高性能インド語言処理 #命令微調整

ダウンロード数 598

リリース時間 : 1/27/2025

モデル概要

これはテキスト補完モデルで、主に下流タスクの微調整に使用され、直接チャットや命令追従モデルとして使用するには適していません。

モデル特徴

インド初の事前学習ヒンディー語モデル

これはインドのどの学術研究ラボからも初めて公開された事前学習ヒンディー語モデルです。

高性能

性能面で、既存のインド語言をサポートするオープンソースモデルよりも優れており、パラメータ規模が70億に達するモデルであっても同様です。

高品質データセット

データセットにはニュース記事、ウェブ文書、書籍、政府出版物、教育資料、ソーシャルメディアの会話が含まれ、インドの母語話者によってさらに選別されています。

モデル能力

テキスト生成

ヒンディー語テキスト処理

英語テキスト処理

使用事例

翻訳

英語 - ヒンディー語翻訳

英語のテキストをヒンディー語に翻訳します。

テキスト補完

ヒンディー語テキスト補完

与えられたヒンディー語のテキストプロンプトに基づいて後続の内容を生成します。

🚀 Ganga-2-1bモデルカード

Ganga-2-1bは、命令に基づいて微調整されたモデルです。このモデルは、単言語のヒンディー語データセットを使用して訓練され、Project Unityプロジェクトの一部です。私たちは、インドのヒンディー語圏を流れる最長の川に敬意を表して、Gangaという名前を提案しました。

(これは、インドの学術研究機関が公開した初の事前学習済みヒンディー語モデルです！)

免責事項：このモデルはテキスト補完用で、下流タスクの微調整に使用することを目的としています。チャットや命令追従モデルとして直接使用するには適していません。

image/png

🚀 クイックスタート

以下のコードを使用して、このモデルを始めることができます。

from transformers import AutoModelForCausalLM, AutoTokenizer
    
tokenizer = AutoTokenizer.from_pretrained("LingoIITGN/ganga-2-1b")
model = AutoModelForCausalLM.from_pretrained("LingoIITGN/ganga-2-1b", device_map="auto")
  input_text = 'Translate it into Hindi "Innovation is the key to solving complex problems in the modern world."'
#input_text = '‡§á‡§∏ ‡§µ‡§æ‡§ï‡•ç‡§Ø ‡§ï‡§æ ‡§∏‡§π‡•Ä ‡§Ö‡§Ç‡§ó‡•ç‡§∞‡•á‡§ú‡§º‡•Ä ‡§Ö‡§®‡•Å‡§µ‡§æ‡§¶ ‡§ï‡§∞‡•á‡§Ç "‡§ú‡•Ä‡§µ‡§® ‡§Æ‡•á‡§Ç ‡§Ö‡§∏‡§≤‡•Ä ‡§ú‡•Ä‡§§ ‡§µ‡§π‡•Ä ‡§π‡•à, ‡§ú‡§¨ ‡§Ü‡§™ ‡§Ö‡§™‡§®‡•á ‡§°‡§∞ ‡§ï‡•ã ‡§π‡§∞‡§æ ‡§¶‡•á‡§Ç‡•§"'
#input_text = 'What is capital city of India?'
input_ids = tokenizer.encode("<bos><user>" + input_text + "<assistant>",
            return_tensors="pt").to("cuda")
outputs = model.generate(input_ids, max_new_tokens=100,
          do_sample=False)
print(tokenizer.decode(outputs[0]))

✨ 主な機能

Project Unityは、インドの主要言語を網羅する包括的なリソースを作成することで、インドの言語の多様性と豊かさに対処することを目指しています。私たちは、インドの言語のテキストの理解と生成において最先端の性能を実現することに取り組んでいます。

この目標を達成するために、私たちはインドの単言語地域の言語でモデルを訓練しています。最初のリリースバージョンはGanga-1Bモデルで、このモデルは、ニュース記事、ウェブドキュメント、書籍、政府刊行物、教育資料、ソーシャルメディアの会話（品質フィルタリング済み）など、大量の公共のウェブクローリングされたヒンディー語データで訓練されています。さらに、このデータセットはインドの母国語話者によってさらに選別され、高品質が保証されています。

注目すべきは、Ganga-2-1Bモデルは、パラメータ規模が最大70億の既存のインドの言語をサポートするオープンソースモデルを上回る性能を発揮します。

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer
    
tokenizer = AutoTokenizer.from_pretrained("LingoIITGN/ganga-2-1b")
model = AutoModelForCausalLM.from_pretrained("LingoIITGN/ganga-2-1b", device_map="auto")
  input_text = 'Translate it into Hindi "Innovation is the key to solving complex problems in the modern world."'
#input_text = '‡§á‡§∏ ‡§µ‡§æ‡§ï‡•ç‡§Ø ‡§ï‡§æ ‡§∏‡§π‡•Ä ‡§Ö‡§Ç‡§ó‡•ç‡§∞‡•á‡§ú‡§º‡•Ä ‡§Ö‡§®‡•Å‡§µ‡§æ‡§¶ ‡§ï‡§∞‡•á‡§Ç "‡§ú‡•Ä‡§µ‡§® ‡§Æ‡•á‡§Ç ‡§Ö‡§∏‡§≤‡•Ä ‡§ú‡•Ä‡§§ ‡§µ‡§π‡•Ä ‡§π‡•à, ‡§ú‡§¨ ‡§Ü‡§™ ‡§Ö‡§™‡§®‡•á ‡§°‡§∞ ‡§ï‡•ã ‡§π‡§∞‡§æ ‡§¶‡•á‡§Ç‡•§"'
#input_text = 'What is capital city of India?'
input_ids = tokenizer.encode("<bos><user>" + input_text + "<assistant>",
            return_tensors="pt").to("cuda")
outputs = model.generate(input_ids, max_new_tokens=100,
          do_sample=False)
print(tokenizer.decode(outputs[0]))