Hebrew Gemma 11B

🚀 希伯來語Gemma-11B模型

希伯來語Gemma-11B是一個開源的大語言模型（LLM），是一個擁有110億參數的希伯來語/英語預訓練生成式文本模型，基於谷歌的Gemma-7B架構。它在Gemma-7B的基礎上繼續預訓練，擴展到更大規模，並在30億額外的英語和希伯來語文本數據上進行訓練。由此得到的Gemma-11B模型是一個強大的通用語言模型，適用於廣泛的自然語言處理任務，尤其專注於希伯來語的理解和生成。

🚀 快速開始

首先確保執行 pip install -U transformers，然後根據你的使用場景複製相應的代碼片段。

✨ 主要特性

• 基於谷歌的Gemma-7B架構，擁有110億參數。
• 在英語和希伯來語的30億額外文本數據上進行繼續預訓練。
• 適用於廣泛的自然語言處理任務，專注於希伯來語理解和生成。

📦 安裝指南

使用前請確保安裝最新的 transformers 庫：

pip install -U transformers

💻 使用示例

基礎用法

在CPU上運行

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("yam-peleg/Hebrew-Gemma-11B")
model = AutoModelForCausalLM.from_pretrained("yam-peleg/Hebrew-Gemma-11B")

input_text = "שלום! מה שלומך היום?"
input_ids = tokenizer(input_text, return_tensors="pt")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

在GPU上運行

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("yam-peleg/Hebrew-Gemma-11B")
model = AutoModelForCausalLM.from_pretrained("yam-peleg/Hebrew-Gemma-11B", device_map="auto")

input_text = "שלום! מה שלומך היום?"
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

高級用法

使用4位精度運行

from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig

tokenizer = AutoTokenizer.from_pretrained("yam-peleg/Hebrew-Gemma-11B")
model = AutoModelForCausalLM.from_pretrained("yam-peleg/Hebrew-Gemma-11B", quantization_config = BitsAndBytesConfig(load_in_4bit=True))

input_text = "שלום! מה שלומך היום?"
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

📚 詳細文檔

基礎模型

• 2024年3月7日：希伯來語Gemma-11B
• 2024年3月16日：希伯來語Gemma-11B-V2

指令模型

• 2024年3月7日：希伯來語Gemma-11B-Instruct

使用條款

作為Gemma-7B的擴展，此模型受谷歌原始許可證和使用條款的約束。

Gemma-7B原始使用條款：條款

基準測試結果

• 即將推出！

注意事項

希伯來語Gemma-11B是一個預訓練的基礎模型，因此沒有任何審核機制。

作者

• 由Yam Peleg訓練。
• 與Jonathan Rouach和Arjeo公司合作。

📄 許可證

本模型遵循其他許可證，具體名稱為 gemma-terms-of-use，詳細條款請見 許可證鏈接。