Gams 9B Instruct

🚀 GaMS-9B-Instruct模型卡片

GaMS-2B、GaMS-9B和GaMS-27B是GaMS（斯洛文尼亚语生成模型）系列的新型改进和更大规模的模型。这些模型基于谷歌的Gemma 2系列，并在斯洛文尼亚语、英语以及部分克罗地亚语、塞尔维亚语和波斯尼亚语语料库上进行了持续预训练。

这是GaMS-9B模型的SFT版本。

✨ 主要特性

• 多语言支持：支持斯洛文尼亚语、英语、克罗地亚语、波斯尼亚语和塞尔维亚语等多种语言。
• 持续预训练：在多种语料库上进行持续预训练，提升模型性能。
• SFT版本：经过监督微调，更适合特定任务。

📦 安装指南

本模型可通过pipeline API运行，以下是示例代码：

from transformers import pipeline

model_id = "cjvt/GaMS-9B-Instruct"

pline = pipeline(
    "text-generation",
    model=model_id,
    device_map="cuda" # 若要在Mac设备上运行，可将其替换为 "mps"
)

# 响应生成示例
message = [{"role": "user", "content": "Kateri je najpomembnejši dogodek v slovenski zgodovini?"}]
response = pipeline(message, max_new_tokens=512)
print("模型响应:", response[0]["generated_text"][-1]["content"])

# 对话链示例
new_message = response[0]["generated_text"]
new_message.append({"role": "user", "content": "Lahko bolj podrobno opišeš ta dogodek?"})
response = pipeline(new_message, max_new_tokens=1024)
print("模型响应:", response[0]["generated_text"][-1]["content"])

若要进行多GPU推理，可将device_map设置为auto：

from transformers import pipeline

model_id = "cjvt/GaMS-9B-Instruct"

pline = pipeline(
    "text-generation",
    model=model_id,
    device_map="auto"
)

# 响应生成示例
message = [{"role": "user", "content": "Kateri je najpomembnejši dogodek v slovenski zgodovini?"}]
response = pipeline(message, max_new_tokens=512)
print("模型响应:", response[0]["generated_text"][-1]["content"])

# 对话链示例
new_message = response[0]["generated_text"]
new_message.append({"role": "user", "content": "Lahko bolj podrobno opišeš ta dogodek?"})
response = pipeline(new_message, max_new_tokens=1024)
print("模型响应:", response[0]["generated_text"][-1]["content"])

📚 详细文档

基本信息

数据

CPT数据

模型的持续预训练分为两个阶段。第一阶段使用平行的英-斯（某些情况下包括克罗地亚语）语料库来对齐语言。第二阶段，模型在单独的英语、斯洛文尼亚语、克罗地亚语、波斯尼亚语和塞尔维亚语语料库上进行训练。

平行对齐语料库

各对齐级别的解释：

• 文档级别：平行文档被连接成一个单独的文档。
• 单独文档：平行文档未进行显式对齐。
• 段落级别：平行文档的段落被连接（斯洛文尼亚语/英语文档的第一段后面跟着另一种语言的第一段，然后是第一种语言的第二段，依此类推）。

第二阶段语料库

备注：

• 以下语料库从MetaFida中排除：dgt15_sl、classlawiki_sl、tweet_sl、janes_tweet、janes_forum、janes_news。
• 塞尔维亚语维基百科从西里尔字母转换为拉丁字母。

SFT数据

我们的SFT训练数据包括约25000个训练示例和1500个验证示例。数据集是以下数据集的混合：

• GaMS-Instruct-GEN 1.0
• GaMS-Instruct-DH 1.0：从该数据集中随机选择3000个示例。
• GaMS-Instruct-MED 1.0：从该数据集中随机选择3000个示例。
• 平行语料库EN-SL RSDO4 2.0：对该语料库进行了额外过滤。首先，使用NeMo Curator运行FastText语言识别，仅保留源语言被检测为英语且目标语言为斯洛文尼亚语的示例。接下来，运行COMET模型评估翻译。仅保留COMET分数高于0.945的示例（约8000个示例）。
• Aya数据集：仅从该数据集中选取英语和塞尔维亚语示例。塞尔维亚语示例从西里尔字母转换为拉丁字母。
• 数学竞赛：我们从2001年至2010年斯洛文尼亚全国数学竞赛的PDF文件中提取文本。使用olmOCR从PDF中提取文本，并手动纠正提取的文本。这为我们提供了约150个已解决的数学问题。

训练

模型在Leonardo HPC的Booster分区上进行训练。

CPT

我们使用NVIDIA NeMo 2.0框架对模型进行持续预训练。模型在BF16混合精度下使用张量并行（跨4个GPU）、序列并行和激活重计算进行训练。模型在32个节点上进行训练，每个节点包含4个A100 64GB GPU。平行对齐训练大约需要4小时，第二阶段大约需要40小时。

模型使用带有线性预热的余弦学习率调度器进行训练，并使用以下超参数。

平行对齐：

• 预热步数：150
• 最小学习率：5e-6
• 最大学习率：2e-5
• 恒定步数：0
• 批量大小：512（400万个标记）

第二阶段：

• 预热步数：500
• 最小学习率：5e-6
• 最大学习率：5e-5
• 恒定步数：100
• 批量大小：512（400万个标记）

SFT

对于监督微调，我们使用带有DeepSpeed ZeRO-3的Transformers库。模型在BF16精度下进行训练，使用流水线并行将其分布在4个GPU上。模型在一个包含4个A100 64GB GPU的节点上进行训练。我们对优化器使用CPU卸载。

模型使用带有线性预热的余弦学习率调度器进行调整，并使用以下超参数：

• 训练轮数：训练进行了5轮，但根据验证损失，最佳性能的模型在第二轮后获得，因此我们保留了该模型。
• 批量大小：128
• 预热步数：150
• 最小学习率：1e-7
• 最大学习率：5e-6
• 恒定步数：0

评估

模型使用斯洛文尼亚SuperGLUE分类任务集合在SloBench上进行评估。模型的指令版本还在英-斯翻译和斯-英翻译任务上进行了评估。此外，我们在斯洛文尼亚LLM评估上对模型进行了评估。

评估代码：

• SloBench任务
• 斯洛文尼亚LLM评估

斯洛文尼亚LLM评估结果

下图展示了GaMS模型、基础Gemma 2模型和斯洛文尼亚GPT（基于Mistral 7B的斯洛文尼亚语开源模型）之间的比较。所有模型均在零样本场景下进行评估。

SloBench结果

GaMS 2B、9B和27B模型在3样本场景下进行评估，但MultiRC和翻译任务使用零样本。GaMS-9B-Instruct在所有任务上均在零样本场景下进行评估。我们使用引导解码来确保响应格式正确。

斯洛文尼亚SuperGLUE

英-斯翻译（基准测试前11名模型）

斯-英翻译（基准测试前10名模型）

使用和限制（取自Gemma 2）

这些模型有一些用户应该了解的限制。

预期用途

开源大语言模型（LLM）在各个行业和领域有广泛的应用。以下潜在用途列表并不全面。此列表的目的是提供模型创建者在模型训练和开发过程中考虑的可能用例的上下文信息。

• 内容创作和沟通
  • 文本生成：这些模型可用于生成创意文本格式，如诗歌、脚本、代码、营销文案和电子邮件草稿。
  • 聊天机器人和对话式AI：为客户服务、虚拟助手或交互式应用程序提供对话界面。
  • 文本摘要：生成文本语料库、研究论文或报告的简洁摘要。
• 研究和教育
  • 自然语言处理（NLP）研究：这些模型可以作为研究人员试验NLP技术、开发算法和推动该领域发展的基础。
  • 语言学习工具：支持交互式语言学习体验，帮助进行语法纠正或提供写作练习。
  • 知识探索：通过生成摘要或回答特定主题的问题，帮助研究人员探索大量文本。

限制

• 训练数据
  • 训练数据的质量和多样性显著影响模型的能力。训练数据中的偏差或差距可能导致模型响应的局限性。
  • 训练数据集的范围决定了模型能够有效处理的主题领域。
• 上下文和任务复杂性
  • LLM更擅长可以用清晰提示和说明构建的任务。开放式或高度复杂的任务可能具有挑战性。
  • 模型的性能可能受到提供的上下文量的影响（在一定程度上，更长的上下文通常会导致更好的输出）。
• 语言歧义与细微差别
  • 自然语言本质上是复杂的。LLM可能难以理解微妙的细微差别、讽刺或比喻语言。
• 事实准确性
  • LLM根据从训练数据集中学到的信息生成响应，但它们不是知识库。它们可能会生成不正确或过时的事实陈述。
• 常识
  • LLM依赖于语言中的统计模式。它们可能在某些情况下缺乏应用常识推理的能力。

伦理考虑和风险

大语言模型（LLM）的开发引发了一些伦理问题。在创建开源模型时，我们仔细考虑了以下方面：

• 偏差和公平性
  • 在大规模真实世界文本数据上训练的LLM可能反映训练材料中嵌入的社会文化偏差。这些模型经过了仔细审查，本卡片中描述了输入数据预处理和后续评估。
• 错误信息和滥用
  • LLM可能被滥用来生成虚假、误导或有害的文本。
  • 提供了模型负责任使用的指南，请参阅[负责任生成式AI工具包][rai-toolkit]。
• 透明度和问责制
  • 本模型卡片总结了模型的架构、能力、限制和评估过程的详细信息。
  • 负责任开发的开源模型为AI生态系统中的开发人员和研究人员提供了分享创新并使LLM技术更易获取的机会。

已识别的风险和缓解措施：

• 偏差的延续：鼓励在模型训练、微调及其他用例中进行持续监测（使用评估指标、人工审查）并探索去偏技术。
• 有害内容的生成：内容安全机制和指南至关重要。鼓励开发人员根据其特定产品政策和应用用例谨慎行事并实施适当的内容安全保障措施。
• 恶意用途：技术限制以及对开发人员和最终用户的教育有助于减轻LLM的恶意应用。提供了教育资源和用户举报滥用行为的机制。Gemma模型的禁止用途在[Gemma禁止使用政策][prohibited-use]中列出。
• 隐私侵犯：模型在过滤掉个人身份信息（PII）的数据上进行训练。鼓励开发人员遵守隐私法规并采用隐私保护技术。

🔧 技术细节

模型基于谷歌的Gemma 2系列，并在斯洛文尼亚语、英语以及部分克罗地亚语、塞尔维亚语和波斯尼亚语语料库上进行了持续预训练。训练过程使用了NVIDIA NeMo 2.0框架，在BF16混合精度下进行，采用了张量并行、序列并行和激活重计算等技术。

📄 许可证

本模型使用Gemma许可证。

致谢

该模型是在PoVeJMo研究项目（使用大语言模型的自适应自然语言处理）中开发的，特别是在名为SloLLaMai的研究项目中——用于斯洛文尼亚语的开放访问计算高效模型。该项目由斯洛文尼亚研究与创新局（ARIS）在《复苏与韧性计划》和NextGenerationEU的资助下进行。作者还感谢斯洛文尼亚研究与创新局的资金支持（研究核心资助编号P6 - 0411——斯洛文尼亚语的语言资源与技术）。

我们感谢所有参与数据收集和准备工作的人员，使我们能够训练我们的模型。特别感谢Nikola Ljubešić、Taja Kuzman、Tjaša Arčon、Jaka Čibej、Simon Krek、Tomaž Erjavec、Iztok Kosem和Tomaž Savodnik。