Hebrew Gemma 11B V2

🚀 Hebrew-Gemma-11B-V2

Hebrew-Gemma-11B-V2は、Hebrew-Gemma-11Bの更新バージョンです。より長時間の学習を行い、いくつかのバグ修正も行っています。

✨ 主な機能

Hebrew-Gemma-11Bは、GoogleのGemma-7Bアーキテクチャに基づいた、110億のパラメータを持つオープンソースの大規模言語モデル（LLM）です。これはヘブライ語と英語で事前学習された生成型テキストモデルです。

このモデルはgemma-7bの続きとして事前学習され、より大規模に拡張され、英語とヘブライ語のテキストデータ30億トークンで学習されています。結果として得られたGemma-11Bは、幅広い自然言語処理タスクに適した強力な汎用言語モデルであり、特にヘブライ語の理解と生成に重点を置いています。

ベースモデル

• 2024年3月7日: Hebrew-Gemma-11B
• 2024年3月16日: Hebrew-Gemma-11B-V2

命令型モデル

• 2024年3月7日: Hebrew-Gemma-11B-Instruct

📦 インストール

まず、pip install -U transformers を実行して、必要なライブラリをインストールしてください。

💻 使用例

基本的な使用法

以下は、モデルをすぐに実行するためのコードスニペットです。

CPUでの実行

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("yam-peleg/Hebrew-Gemma-11B-V2")
model = AutoModelForCausalLM.from_pretrained("yam-peleg/Hebrew-Gemma-11B-V2")

input_text = "שלום! מה שלומך היום?"
input_ids = tokenizer(input_text, return_tensors="pt")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

GPUでの実行

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("yam-peleg/Hebrew-Gemma-11B-V2")
model = AutoModelForCausalLM.from_pretrained("yam-peleg/Hebrew-Gemma-11B-V2", device_map="auto")

input_text = "שלום! מה שלומך היום?"
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

4ビット精度での実行

from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig

tokenizer = AutoTokenizer.from_pretrained("yam-peleg/Hebrew-Gemma-11B-V2")
model = AutoModelForCausalLM.from_pretrained("yam-peleg/Hebrew-Gemma-11B-V2", quantization_config = BitsAndBytesConfig(load_in_4bit=True))

input_text = "שלום! מה שלומך היום?"
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0])

利用規約

Gemma-7Bの拡張として、このモデルはGoogleによる元のライセンスと利用規約の対象となります。

Gemma-7Bの元の利用規約: 規約

📄 ライセンス

このモデルは、gemma-terms-of-useのライセンスに基づいています。

注意事項

Hebrew-Gemma-11B-V2は事前学習されたベースモデルであり、モデレーションメカニズムは搭載されていません。

作成者

• 学習: Yam Peleg
• 協力: Jonathan Rouach、Arjeo, inc.