Gemma Ko 7b

🚀 Gemma-Ko

Gemma-Ko是基于Google轻量级前沿开源模型Gemma开发的模型，适用于多种文本生成任务，能在资源有限的环境中部署，助力用户使用先进AI技术进行创新。

🚀 快速开始

要快速开始运行该模型，首先确保安装了必要的库，然后根据你的使用场景复制相应的代码片段。

安装依赖

pip install -U transformers

在CPU上运行模型

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("beomi/gemma-ko-7b")
model = AutoModelForCausalLM.from_pretrained("beomi/gemma-ko-7b")

input_text = "머신러닝과 딥러닝의 차이는"
input_ids = tokenizer(input_text, return_tensors="pt")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

在单GPU或多GPU上运行模型

pip install accelerate

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("beomi/gemma-ko-7b")
model = AutoModelForCausalLM.from_pretrained("beomi/gemma-ko-7b", device_map="auto")

input_text = "머신러닝과 딥러닝의 차이는"
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

其他优化

Flash Attention 2

首先确保在你的环境中安装 flash-attn：

pip install flash-attn

model = AutoModelForCausalLM.from_pretrained(
    "beomi/gemma-ko-7b", 
    torch_dtype=torch.float16, 
+   attn_implementation="flash_attention_2"
).to(0)

✨ 主要特性

• 轻量级模型：Gemma是Google开发的轻量级前沿开源模型家族，基于与Gemini模型相同的研究和技术构建。
• 多语言支持：支持韩语和英语，适用于多种文本生成任务。
• 资源友好：相对较小的模型尺寸使其能够在资源有限的环境中部署，如笔记本电脑、台式机或个人云基础设施。

📚 详细文档

模型信息

描述

Gemma是Google推出的轻量级前沿开源模型家族，基于与Gemini模型相同的研究和技术构建。它们是仅解码器的大语言模型，支持英文，具有开放的权重、预训练变体和指令微调变体。Gemma模型适用于多种文本生成任务，包括问答、摘要和推理。其相对较小的尺寸使其能够在资源有限的环境中部署，如笔记本电脑、台式机或个人云基础设施，使更多人能够使用先进的AI模型，促进创新。

输入和输出

• 输入：文本字符串，如问题、提示或待摘要的文档。
• 输出：针对输入生成的韩语或英语文本，如问题的答案或文档的摘要。

实现信息

训练使用了 beomi/Gemma-EasyLM。

评估

基准测试结果

待确定。

使用和限制

预期用途

开源大语言模型（LLMs）在各个行业和领域都有广泛的应用。以下是一些潜在用途的列表，但并不全面。该列表的目的是提供有关模型创建者在模型训练和开发过程中考虑的可能用例的上下文信息。

• 内容创作和交流
  • 文本生成：这些模型可用于生成创意文本格式，如诗歌、剧本、代码、营销文案和电子邮件草稿。
• 研究和教育
  • 自然语言处理（NLP）研究：这些模型可以作为研究人员试验NLP技术、开发算法和推动该领域发展的基础。
  • 语言学习工具：支持交互式语言学习体验，帮助进行语法纠正或提供写作练习。
  • 知识探索：通过生成摘要或回答特定主题的问题，帮助研究人员探索大量文本。

限制

• 训练数据
  • 训练数据的质量和多样性会显著影响模型的能力。训练数据中的偏差或差距可能导致模型响应的局限性。
  • 训练数据集的范围决定了模型能够有效处理的主题领域。
• 上下文和任务复杂性
  • 大语言模型更擅长可以用清晰提示和说明来描述的任务。开放式或高度复杂的任务可能具有挑战性。
  • 模型的性能可能会受到提供的上下文量的影响（在一定程度上，更长的上下文通常会导致更好的输出）。
• 语言歧义与细微差别
  • 自然语言本质上是复杂的。大语言模型可能难以理解微妙的细微差别、讽刺或比喻性语言。
• 事实准确性
  • 大语言模型根据从训练数据集中学到的信息生成响应，但它们不是知识库。它们可能会生成不正确或过时的事实陈述。
• 常识
  • 大语言模型依赖于语言中的统计模式。它们可能在某些情况下缺乏应用常识推理的能力。

伦理考虑和风险

大语言模型（LLMs）的开发引发了一些伦理问题。在创建开源模型时，我们仔细考虑了以下方面：

• 偏差与公平性
  • 在大规模真实世界文本数据上训练的大语言模型可能反映训练材料中嵌入的社会文化偏差。这些模型经过了仔细审查，本卡片中描述了输入数据预处理和后续评估情况。
• 错误信息与滥用
  • 大语言模型可能被滥用来生成虚假、误导或有害的文本。
  • 提供了负责任使用模型的指南，请参阅 Responsible Generative AI Toolkit。
• 透明度与问责制
  • 本模型卡片总结了模型的架构、能力、限制和评估过程的详细信息。
  • 负责任开发的开源模型为AI生态系统中的开发者和研究人员提供了共享创新的机会，使他们能够使用大语言模型技术。

识别的风险和缓解措施：

• 偏差的延续：鼓励在模型训练、微调等使用场景中进行持续监控（使用评估指标、人工审查）并探索去偏技术。
• 有害内容的生成：内容安全机制和指南至关重要。鼓励开发者根据其特定的产品政策和应用用例谨慎行事并实施适当的内容安全保障措施。
• 恶意用途的滥用：技术限制以及对开发者和最终用户的教育可以帮助减轻大语言模型的恶意应用。提供了教育资源和用户报告滥用的机制。Gemma模型的禁止使用情况在 Gemma Prohibited Use Policy 中列出。
• 隐私侵犯：模型在经过过滤以去除个人身份信息（PII）的数据上进行训练。鼓励开发者遵守隐私法规并采用隐私保护技术。

致谢

训练得到了 TPU Research Cloud 项目的支持。

引用

@misc {gemma_ko_7b,
	author       = { {Junbum Lee, Taekyoon Choi} },
	title        = { gemma-ko-7b },
	year         = 2024,
	url          = { https://huggingface.co/beomi/gemma-ko-7b },
	doi          = { 10.57967/hf/1859 },
	publisher    = { Hugging Face }
}

模型开发者

Junbum Lee (Beomi) & Taekyoon Choi (Taekyoon)

原始Gemma模型页面

Gemma

资源和技术文档

• 原始Google的Gemma-7B
• 训练代码 @ Github: Gemma-EasyLM

使用条款

Terms

📄 许可证

许可证名称：gemma-terms-of-use 许可证链接：https://ai.google.dev/gemma/terms