Hebrew Gemma 11B

🚀 希伯来语Gemma-11B模型

希伯来语Gemma-11B是一个开源的大语言模型（LLM），是一个拥有110亿参数的希伯来语/英语预训练生成式文本模型，基于谷歌的Gemma-7B架构。它在Gemma-7B的基础上继续预训练，扩展到更大规模，并在30亿额外的英语和希伯来语文本数据上进行训练。由此得到的Gemma-11B模型是一个强大的通用语言模型，适用于广泛的自然语言处理任务，尤其专注于希伯来语的理解和生成。

🚀 快速开始

首先确保执行 pip install -U transformers，然后根据你的使用场景复制相应的代码片段。

✨ 主要特性

• 基于谷歌的Gemma-7B架构，拥有110亿参数。
• 在英语和希伯来语的30亿额外文本数据上进行继续预训练。
• 适用于广泛的自然语言处理任务，专注于希伯来语理解和生成。

📦 安装指南

使用前请确保安装最新的 transformers 库：

pip install -U transformers

💻 使用示例

基础用法

在CPU上运行

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("yam-peleg/Hebrew-Gemma-11B")
model = AutoModelForCausalLM.from_pretrained("yam-peleg/Hebrew-Gemma-11B")

input_text = "שלום! מה שלומך היום?"
input_ids = tokenizer(input_text, return_tensors="pt")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

在GPU上运行

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("yam-peleg/Hebrew-Gemma-11B")
model = AutoModelForCausalLM.from_pretrained("yam-peleg/Hebrew-Gemma-11B", device_map="auto")

input_text = "שלום! מה שלומך היום?"
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

高级用法

使用4位精度运行

from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig

tokenizer = AutoTokenizer.from_pretrained("yam-peleg/Hebrew-Gemma-11B")
model = AutoModelForCausalLM.from_pretrained("yam-peleg/Hebrew-Gemma-11B", quantization_config = BitsAndBytesConfig(load_in_4bit=True))

input_text = "שלום! מה שלומך היום?"
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

📚 详细文档

基础模型

• 2024年3月7日：希伯来语Gemma-11B
• 2024年3月16日：希伯来语Gemma-11B-V2

指令模型

• 2024年3月7日：希伯来语Gemma-11B-Instruct

使用条款

作为Gemma-7B的扩展，此模型受谷歌原始许可证和使用条款的约束。

Gemma-7B原始使用条款：条款

基准测试结果

• 即将推出！

注意事项

希伯来语Gemma-11B是一个预训练的基础模型，因此没有任何审核机制。

作者

• 由Yam Peleg训练。
• 与Jonathan Rouach和Arjeo公司合作。

📄 许可证

本模型遵循其他许可证，具体名称为 gemma-terms-of-use，详细条款请见 许可证链接。