Hebrew Gemma 11B Instruct

🚀 Hebrew-Gemma-11B-Instruct

Hebrew-Gemma-11B-Instructは、大規模言語モデル（LLM）であり、Hebrew-Gemma-11B生成テキストモデルを様々な会話データセットを用いて命令に関する微調整を行ったバージョンです。これはgemma-7bの継続的事前学習モデルで、より大規模に拡張され、英語とヘブライ語のテキストデータ30億トークンで学習されています。

🚀 クイックスタート

ベースモデル

• 2024年3月7日: Hebrew-Gemma-11B
• 2024年3月16日: Hebrew-Gemma-11B-V2

命令モデル

• 2024年3月7日: Hebrew-Gemma-11B-Instruct

📚 ドキュメント

命令フォーマット

このフォーマットは厳密に守る必要があります。そうしないと、モデルは最適でない出力を生成します。

<bos><start_of_turn>user
Write a hello world program<end_of_turn>
<start_of_turn>model
Here is a simple hellow world program<end_of_turn><eos>

• 会話は**<bos>**で始まります。
• 各ターンは**<start_of_turn>**区切り文字とその後にエンティティの役割（userまたはmodel）が続きます。
• ターンは**<end_of_turn>**トークンで終わります。
• 会話は**<eos>**トークンで終わります。

トークナイザーのチャットテンプレートを使用せずに手動でプロンプトを作成する必要がある場合は、このフォーマットに従うことができます。

トークナイザーのチャットテンプレートを使用した簡単な例:

from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "Hebrew-Gemma-11B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="cuda")

chat = [
    { "role": "user", "content": "כתוב קוד פשוט בפייתון שמדפיס למסך את התאריך של היום" },
]
prompt = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)

利用規約

Gemma-7Bの拡張モデルとして、このモデルはGoogleによる元のライセンスと利用規約の対象となります。

ベンチマーク結果

• 近日公開予定！

注意事項

Hebrew-Gemma-11Bは事前学習されたベースモデルであり、したがって何らのモデレーションメカニズムも持っていません。

作者

• 訓練: Yam Peleg
• 協力: Jonathan RouachとArjeo, inc.

📄 ライセンス

• ライセンス: その他
• ライセンス名: gemma-terms-of-use
• ライセンスリンク: https://ai.google.dev/gemma/terms