Hebrew Gemma 11B

🚀 Hebrew-Gemma-11B

Hebrew-Gemma-11Bは、GoogleのGemma-7Bアーキテクチャに基づく、110億のパラメータを持つヘブライ語と英語で事前学習された生成型テキストモデルです。このオープンソースの大規模言語モデル（LLM）は、Gemma-7Bをさらに事前学習し、より大規模に拡張し、英語とヘブライ語のテキストデータ30億トークンで学習されています。結果として得られたGemma-11Bは、ヘブライ語の理解と生成に特化した、幅広い自然言語処理タスクに適した強力な汎用言語モデルです。

🚀 クイックスタート

まずは、pip install -U transformers を実行して必要なライブラリをインストールしましょう。その後、以下のコードスニペットをコピーして、あなたのユースケースに合わせて実行します。

💻 使用例

基本的な使用法

CPUでの実行

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("yam-peleg/Hebrew-Gemma-11B")
model = AutoModelForCausalLM.from_pretrained("yam-peleg/Hebrew-Gemma-11B")

input_text = "שלום! מה שלומך היום?"
input_ids = tokenizer(input_text, return_tensors="pt")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

GPUでの実行

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("yam-peleg/Hebrew-Gemma-11B")
model = AutoModelForCausalLM.from_pretrained("yam-peleg/Hebrew-Gemma-11B", device_map="auto")

input_text = "שלום! מה שלומך היום?"
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

高度な使用法

4ビット精度での実行

from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig

tokenizer = AutoTokenizer.from_pretrained("yam-peleg/Hebrew-Gemma-11B")
model = AutoModelForCausalLM.from_pretrained("yam-peleg/Hebrew-Gemma-11B", quantization_config = BitsAndBytesConfig(load_in_4bit=True))

input_text = "שלום! מה שלומך היום?"
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0])

✨ 主な機能

ベースモデル

• 2024年3月7日: Hebrew-Gemma-11B
• 2024年3月16日: Hebrew-Gemma-11B-V2

インストラクションモデル

• 2024年3月7日: Hebrew-Gemma-11B-Instruct

📄 ライセンス

このモデルはGemma-7Bの拡張として、Googleによる元のライセンスと利用規約の対象となります。

Gemma-7Bの元の利用規約: 規約

⚠️ 重要提示

Hebrew-Gemma-11Bは事前学習されたベースモデルであり、モデレーションメカニズムを持っていません。

👥 作者

• トレーニング: Yam Peleg
• 協力: Jonathan Rouach、Arjeo, inc.