Hebrew Gemma 11B Instruct

🚀 希伯來語-Gemma-11B-Instruct

希伯來語-Gemma-11B-Instruct大語言模型（LLM）是基於希伯來語-Gemma-11B生成式文本模型，使用多種對話數據集進行指令微調後的版本。它是在gemma-7b基礎上繼續預訓練而來，擴展到了更大規模，並在30億額外的英語和希伯來語文本數據上進行了訓練。

🚀 快速開始

基礎模型

• 2024年3月7日：希伯來語-Gemma-11B
• 2024年3月16日：希伯來語-Gemma-11B-V2

指令模型

• 2024年3月7日：希伯來語-Gemma-11B-Instruct

📚 詳細文檔

指令格式

必須嚴格遵守此格式，否則模型將生成不理想的輸出。

<bos><start_of_turn>user
Write a hello world program<end_of_turn>
<start_of_turn>model
Here is a simple hellow world program<end_of_turn><eos>

• 對話以 <bos> 開始。
• 每個回合前面都有一個 <start_of_turn> 分隔符，然後是實體的角色（user 或 model）。
• 回合以 <end_of_turn> 標記結束。
• 對話以 <eos> 標記結束。

如果需要在不使用分詞器的聊天模板的情況下手動構建提示，可以遵循此格式。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "Hebrew-Gemma-11B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="cuda")

chat = [
    { "role": "user", "content": "כתוב קוד פשוט בפייתון שמדפיס למסך את התאריך של היום" },
]
prompt = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)

條款和條件

作為Gemma-7B的擴展，此模型受谷歌原始許可證和使用條款的約束。

基準測試結果

• 即將推出！

注意事項

希伯來語-Gemma-11B是一個預訓練的基礎模型，因此沒有任何審核機制。

作者

• 由Yam Peleg訓練。
• 與Jonathan Rouach和Arjeo公司合作。

📄 許可證

本項目遵循gemma使用條款。