Gams 27B Instruct

🚀 GaMS-27B-Instruct模型卡片

GaMS-2B、GaMS-9B和GaMS-27B是GaMS（斯洛文尼亚语生成模型）系列的新型改进和更大规模的模型。这些模型基于谷歌的Gemma 2系列，并在斯洛文尼亚语、英语以及部分克罗地亚语、塞尔维亚语和波斯尼亚语语料库上进行了持续预训练。

这是GaMS-27B模型的监督微调（SFT）版本。

✨ 主要特性

• 多语言支持：支持斯洛文尼亚语、英语、克罗地亚语、波斯尼亚语和塞尔维亚语等多种语言。
• 持续预训练：在多种语料库上进行持续预训练，提升模型性能。
• 监督微调版本：SFT版本进一步优化了模型在特定任务上的表现。

📦 安装指南

文档未提供具体安装命令，跳过此章节。

💻 使用示例

基础用法

from transformers import pipeline

model_id = "cjvt/GaMS-27B-Instruct"

pline = pipeline(
    "text-generation",
    model=model_id,
    device_map="cuda" # replace with "mps" to run on a Mac device
)

# Example of response generation
message = [{"role": "user", "content": "Kateri je najpomembnejši dogodek v slovenski zgodovini?"}]
response = pline(message, max_new_tokens=512)
print("Model's response:", response[0]["generated_text"][-1]["content"])

# Example of conversation chain
new_message = response[0]["generated_text"]
new_message.append({"role": "user", "content": "Lahko bolj podrobno opišeš ta dogodek?"})
response = pline(new_message, max_new_tokens=1024)
print("Model's response:", response[0]["generated_text"][-1]["content"])

高级用法

from transformers import pipeline

model_id = "cjvt/GaMS-27B-Instruct"

pline = pipeline(
    "text-generation",
    model=model_id,
    device_map="auto"
)

# Example of response generation
message = [{"role": "user", "content": "Kateri je najpomembnejši dogodek v slovenski zgodovini?"}]
response = pline(message, max_new_tokens=512)
print("Model's response:", response[0]["generated_text"][-1]["content"])

# Example of conversation chain
new_message = response[0]["generated_text"]
new_message.append({"role": "user", "content": "Lahko bolj podrobno opišeš ta dogodek?"})
response = pline(new_message, max_new_tokens=1024)
print("Model's response:", response[0]["generated_text"][-1]["content"])

📚 详细文档

基本信息

数据

持续预训练（CPT）数据

模型的持续预训练分为两个阶段。第一阶段使用平行的英 - 斯（某些情况下包括克罗地亚语）语料库来对齐语言。第二阶段，模型在单独的英语、斯洛文尼亚语、克罗地亚语、波斯尼亚语和塞尔维亚语语料库上进行训练。

平行对齐语料库

各对齐级别的解释：

• 文档级别：平行文档连接成一个文档。
• 单独文档：平行文档未明确对齐。
• 段落级别：平行文档的段落连接（斯洛文尼亚语/英语文档的第一段之后是另一种语言的第一段，然后是第一种语言的第二段，依此类推）。

第二阶段语料库

备注：

• 以下语料库从MetaFida中排除：dgt15_sl、classlawiki_sl、tweet_sl、janes_tweet、janes_forum、janes_news。
• 塞尔维亚语维基百科从西里尔文转换为拉丁文。

监督微调（SFT）数据

我们的SFT训练数据约由25000个训练示例和1500个验证示例组成。该数据集是以下数据集的混合：

• GaMS-Instruct-GEN 1.0
• GaMS-Instruct-DH 1.0：从该数据集中随机选择3000个示例。
• GaMS-Instruct-MED 1.0：从该数据集中随机选择3000个示例。
• Parallel corpus EN-SL RSDO4 2.0：对该语料库进行了额外过滤。首先使用NeMo Curator运行FastText语言识别，仅保留源语言检测为英语、目标语言检测为斯洛文尼亚语的示例。然后运行COMET模型评估翻译，仅保留COMET分数高于0.945的示例（约8000个示例）。
• Aya Dataset：仅从该数据集中选取英语和塞尔维亚语示例。塞尔维亚语示例从西里尔文转换为拉丁文。
• Math competitions：我们获取了2001年至2010年斯洛文尼亚全国数学竞赛的PDF文件。使用olmOCR从PDF中提取文本，并手动纠正提取的文本。这为我们提供了约150个已解决的数学问题。

训练

模型在Leonardo HPC的Booster分区上进行训练。

持续预训练（CPT）

我们使用NVIDIA NeMo 2.0框架对模型进行持续预训练。模型在BF16混合精度下使用张量并行（跨8个GPU）、序列并行和激活重计算进行训练。模型在32个节点上进行训练，每个节点包含4个A100 64GB GPU。平行对齐训练约需8小时，第二阶段约需110小时。

模型使用带有线性预热的余弦学习率调度器进行训练，并使用以下超参数。

平行对齐：

• 预热步数：150
• 最小学习率：5e-6
• 最大学习率：2e-5
• 恒定步数：0
• 批量大小：512（400万个标记）

第二阶段：

• 预热步数：500
• 最小学习率：5e-6
• 最大学习率：5e-5
• 恒定步数：100
• 批量大小：512（400万个标记）

监督微调（SFT）

与2B和9B模型不同，27B模型使用NeMo框架进行监督微调，这使得扩展更加容易。模型在BF16精度下使用张量并行（跨4个GPU）、序列并行和激活重计算进行训练。模型在8个节点上进行训练，每个节点有4个A100 64GB GPU。

模型使用带有线性预热的余弦学习率调度器进行调整，并使用以下超参数：

• 训练轮数：训练进行了5轮，但根据验证损失，最佳性能模型在第二轮后获得，因此我们保留了该模型。
• 批量大小：128
• 预热步数：150
• 最小学习率：1e-8
• 最大学习率：5e-6
• 恒定步数：0

评估

模型使用斯洛文尼亚SuperGLUE分类任务集在SloBench上进行评估。模型的指令版本还在英语到斯洛文尼亚语翻译和斯洛文尼亚语到英语翻译任务上进行了评估。此外，我们还在Slovenian-LLM-Eval上评估了我们的模型。

评估代码：

• SloBench任务
• Slovenian-LLM-Eval

Slovenian-LLM-Eval结果

下图展示了GaMS模型、基础Gemma 2模型和SlovenianGPT（基于Mistral 7B的斯洛文尼亚语开源模型）的比较。所有模型均在零样本场景下进行评估。

Slobench结果

GaMS 2B、9B、27B和27B-Instruct模型在3 - 样本场景下进行评估，但MultiRC和翻译任务使用零样本。GaMS-2B-Instruct和GaMS-9B-Instruct在所有任务上均在零样本场景下进行评估。我们使用引导解码确保响应格式正确。

斯洛文尼亚SuperGLUE

英语到斯洛文尼亚语翻译（基准测试前11名模型）

斯洛文尼亚语到英语翻译（基准测试前10名模型）

使用和限制（摘自Gemma 2）

这些模型存在一些用户应了解的限制。

预期用途

开放大语言模型（LLM）在各个行业和领域有广泛应用。以下潜在用途列表并不全面，目的是提供模型创建者在模型训练和开发过程中考虑的可能用例的上下文信息。

• 内容创作与交流
  • 文本生成：这些模型可用于生成创意文本格式，如诗歌、脚本、代码、营销文案和电子邮件草稿。
  • 聊天机器人和对话式AI：为客户服务、虚拟助手或交互式应用程序提供对话界面。
  • 文本摘要：生成文本语料库、研究论文或报告的简洁摘要。
• 研究与教育
  • 自然语言处理（NLP）研究：这些模型可作为研究人员试验NLP技术、开发算法和推动该领域发展的基础。
  • 语言学习工具：支持交互式语言学习体验，辅助语法纠正或提供写作练习。
  • 知识探索：通过生成摘要或回答特定主题的问题，帮助研究人员探索大量文本。

限制

• 训练数据
  • 训练数据的质量和多样性显著影响模型的能力。训练数据中的偏差或差距可能导致模型响应的局限性。
  • 训练数据集的范围决定了模型能够有效处理的主题领域。
• 上下文和任务复杂性
  • 大语言模型更擅长能用清晰提示和说明构建的任务。开放式或高度复杂的任务可能具有挑战性。
  • 模型的性能可能受提供的上下文量影响（在一定范围内，更长的上下文通常会产生更好的输出）。
• 语言歧义与细微差别
  • 自然语言本质上很复杂。大语言模型可能难以理解微妙的细微差别、讽刺或比喻语言。
• 事实准确性
  • 大语言模型根据从训练数据中学到的信息生成响应，但它们不是知识库。它们可能生成不正确或过时的事实陈述。
• 常识推理
  • 大语言模型依赖语言中的统计模式。它们可能在某些情况下缺乏应用常识推理的能力。

伦理考量与风险

大语言模型（LLM）的开发引发了一些伦理问题。在创建开放模型时，我们进行了谨慎考虑。

🔧 技术细节

持续预训练（CPT）

使用NVIDIA NeMo 2.0框架在BF16混合精度下进行训练，采用张量并行（跨8个GPU）、序列并行和激活重计算。在32个节点（每个节点4个A100 64GB GPU）上训练，平行对齐训练约8小时，第二阶段约110小时。使用余弦学习率调度器和线性预热，不同阶段超参数不同。

监督微调（SFT）

使用NeMo框架在BF16精度下进行训练，采用张量并行（跨4个GPU）、序列并行和激活重计算。在8个节点（每个节点4个A100 64GB GPU）上训练。使用余弦学习率调度器和线性预热，训练5轮，选择第二轮的模型。

📄 许可证

本模型使用Gemma许可证。

致谢

该模型是在PoVeJMo研究项目（使用大语言模型的自适应自然语言处理）的框架内开发的，特别是在名为SloLLaMai的研究项目中——用于斯洛文尼亚语的开放访问计算高效模型。该项目由斯洛文尼亚研究与创新局（ARIS）在《恢复与韧性计划》和NextGenerationEU的资助下进行。作者们也感谢斯洛文尼亚研究与创新局的资金支持（研究核心资助编号P6 - 0411——斯洛文尼亚语的语言资源与技术）。

我们感谢所有参与数据收集和准备工作的人员，使我们能够训练该模型。特别感谢Nikola Ljubešić、Taja Kuzman、Tjaša Arčon、Jaka Čibej、Simon Krek、Tomaž Erjavec、Iztok Kosem和Tomaž Savodnik。