Jais Family 13b Chat

🚀 Jais系列模型

Jais系列模型是一套全面的英阿双语大语言模型（LLM）。这些模型在优化阿拉伯语性能的同时，也具备出色的英语能力。本系列模型旨在加速阿拉伯语自然语言处理（NLP）的研究，并为阿拉伯语使用者和双语群体提供丰富的下游应用。

🚀 快速开始

以下是使用该模型的示例代码。请注意，该模型需要自定义模型类，因此用户在加载模型时必须启用 trust_remote_code=True。

# -*- coding: utf-8 -*-

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_path = "inceptionai/jais-family-13b-chat"

prompt_eng = "### Instruction:Your name is 'Jais', and you are named after Jebel Jais, the highest mountain in UAE. You were made by 'Inception' in the UAE. You are a helpful, respectful, and honest assistant. Always answer as helpfully as possible, while being safe. Complete the conversation between [|Human|] and [|AI|]:\n### Input: [|Human|] {Question}\n[|AI|]\n### Response :"
prompt_ar = "### Instruction:اسمك \"جيس\" وسميت على اسم جبل جيس اعلى جبل في الامارات. تم بنائك بواسطة Inception في الإمارات. أنت مساعد مفيد ومحترم وصادق. أجب دائمًا بأكبر قدر ممكن من المساعدة، مع الحفاظ على البقاء أمناً. أكمل المحادثة بين [|Human|] و[|AI|] :\n### Input:[|Human|] {Question}\n[|AI|]\n### Response :"

device = "cuda" if torch.cuda.is_available() else "cpu"

tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto", trust_remote_code=True)


def get_response(text, tokenizer=tokenizer, model=model):
    input_ids = tokenizer(text, return_tensors="pt").input_ids
    inputs = input_ids.to(device)
    input_len = inputs.shape[-1]
    generate_ids = model.generate(
        inputs,
        top_p=0.9,
        temperature=0.3,
        max_length=2048,
        min_length=input_len + 4,
        repetition_penalty=1.2,
        do_sample=True,
    )
    response = tokenizer.batch_decode(
        generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True
    )[0]
    response = response.split("### Response :")[-1]
    return response


ques = "ما هي عاصمة الامارات؟"
text = prompt_ar.format_map({'Question': ques})
print(get_response(text))

ques = "What is the capital of UAE?"
text = prompt_eng.format_map({'Question': ques})
print(get_response(text))

✨ 主要特性

• 双语能力：Jais系列模型专为英语和阿拉伯语设计，在两种语言上都表现出色，尤其在阿拉伯语处理方面进行了优化。
• 多种模型变体：提供从从头预训练（jais-family-*）和基于Llama-2自适应预训练（jais-adapted-*）的多种模型变体。
• 广泛的模型规模：涵盖从590M到70B参数的8种不同规模的20个模型，满足不同的计算资源和应用需求。
• 指令微调：所有预训练模型都使用精心策划的阿拉伯语和英语指令数据进行了指令微调（*-chat），以提供更好的对话体验。

📦 Jais系列模型详情

预训练模型

自适应预训练模型

模型架构

本系列的所有模型都是自回归语言模型，采用基于Transformer的仅解码器架构（GPT - 3）。

• Jais模型（jais-family-*）：从头开始训练，采用SwiGLU非线性激活函数和ALiBi位置编码。这些架构改进使模型能够在长序列长度上进行推断，从而提高上下文处理能力和精度。
• Jais自适应模型（jais-adapted-*）：基于Llama - 2构建，采用RoPE位置嵌入和分组查询注意力机制。通过引入阿拉伯语数据进行分词器扩展，使生育能力和计算效率提高了3倍以上。具体来说，我们将Jais - 30b词汇表中的32,000个新阿拉伯语标记添加到Llama - 2分词器中。为了初始化这些新的阿拉伯语标记嵌入，我们首先使用两个词汇表中共享的英语标记集，学习从Jais - 30b嵌入空间到Llama嵌入空间的线性投影。然后，将学习到的投影应用于将现有的Jais - 30b阿拉伯语嵌入转换为Llama - 2嵌入空间。

🔧 训练细节

预训练数据

Jais系列模型在多达1.6万亿个多样化的英语、阿拉伯语和代码数据标记上进行训练。数据来源包括：

• 网络：使用公开可用的阿拉伯语和英语网页、维基百科文章、新闻文章和社交网络内容。
• 代码：为了增强模型的推理能力，纳入了各种编程语言的代码数据。
• 书籍：使用了部分公开可用的阿拉伯语和英语书籍数据，以改善长距离上下文建模和连贯的故事讲述能力。
• 科学文献：纳入了一部分ArXiv论文，以提高推理和长上下文处理能力。
• 合成数据：使用内部机器翻译系统将英语资源（如英语维基百科和英语书籍）翻译成阿拉伯语，以增加阿拉伯语数据的数量。

对训练数据进行了广泛的预处理和去重。对于阿拉伯语数据，使用了自定义的预处理管道来过滤高质量的语言数据。有关此管道的更多信息，请参阅Jais论文。

• Jais预训练（jais-family-*）：根据之前在Jais中进行的语言对齐混合实验，使用了1:2:0.4的阿拉伯语:英语:代码数据比例。这种从头开始预训练的方法解决了阿拉伯语数据稀缺的问题，同时提高了两种语言的性能。
• Jais自适应预训练（jais-adapted-*）：在Llama - 2的自适应预训练中，使用了约3340亿个阿拉伯语标记的更大阿拉伯语数据集与英语和代码数据混合。根据不同的模型规模调整混合比例，以在保持英语性能的同时引入强大的阿拉伯语能力。

预训练模型数据比例

微调数据

Jais系列的所有聊天模型都使用阿拉伯语和英语的单轮和多轮提示 - 响应数据对进行微调。数据来源包括经过主题和风格多样性过滤的开源微调数据集，以及内部策划的人工数据，以增强文化适应性。此外，还补充了使用合成方法（包括机器翻译、蒸馏和模型自对话）生成的内容。总体而言，更新后的指令微调数据集分别包含约1000万和400万个英语和阿拉伯语的提示 - 响应数据对。

训练过程

• 预训练（jais-family-*）：在预训练过程中，文档被打包成由EOS标记分隔的序列，模型进行自回归训练，并对所有标记应用损失。对于jais - 30b模型，通过在训练中纳入精心策划的长上下文文档，将上下文长度从2k逐步扩展到8K再到16K。这种渐进式扩展利用了较短上下文长度下的快速初始训练，同时在训练过程的后期逐渐扩展对更大上下文长度的支持。
• 自适应预训练（jais-adapted-*）：首先按照模型架构中所述初始化新的分词器和阿拉伯语嵌入。在训练中，采用两阶段方法来克服新阿拉伯语嵌入的较高范数问题。第一阶段，冻结模型的主干，使用来自英语和阿拉伯语双语语料库的约150亿个标记训练嵌入。第二阶段，解冻主干，并对所有参数进行连续预训练。
• 指令微调：每个训练示例由单轮或多轮提示及其响应组成。与每个序列一个示例不同，示例被打包在一起，同时在提示标记上屏蔽损失。这种方法通过允许每批处理更多示例来加速训练。

训练超参数：Jais-family-13b-chat

计算基础设施

训练过程在Condor Galaxy（CG）超级计算机平台上进行。一个CG包含64个Cerebras CS - 2晶圆级引擎（WSE - 2），每个引擎具有40GB的SRAM，总计算能力达到960 PetaFLOP/s。

📚 评估

使用LM - harness在零样本设置下对Jais模型进行了全面评估，重点关注英语和阿拉伯语。评估标准涵盖多个维度，包括知识、推理、错误信息/偏差等。

阿拉伯语评估结果

英语评估结果

GPT - 4评估

除了LM - Harness评估外，还使用GPT - 4作为评判进行了开放式生成评估。在Vicuna测试集的80个固定提示上，测量了模型响应的成对胜率。英语提示由内部语言学家翻译成阿拉伯语。将本次发布的Jais系列模型与之前发布的版本进行了比较： 图注：GPT - 4作为评判对Jais模型在阿拉伯语和英语中的评估。Jais系列模型在两种语言的生成能力上明显优于之前的Jais模型。

图注：GPT - 4作为评判对自适应Jais模型在阿拉伯语和英语中的评估。与Llama - 2指令模型相比，阿拉伯语的生成质量显著提高，同时英语性能也有所提升。

除了成对比较外，还进行了MT - bench风格的1到10分的单答案评分。 图注：MT - bench风格的单答案评分评估Jais和自适应Jais模型在阿拉伯语和英语中的表现。与早期版本的相应模型进行比较，响应的质量评级普遍提高，尤其是阿拉伯语方面有显著提升。

📚 预期用途

Jais系列模型以完全开源的许可证发布，欢迎各方反馈和合作机会。该系列双语模型的参数规模从590M到70B不等，适用于广泛的应用场景。一些潜在的下游应用包括：

研究

• 为阿拉伯语研究人员和NLP从业者提供计算高效和先进的模型规模，适用于自然语言理解和生成任务。
• 对双语预训练和自适应预训练模型进行文化对齐的机制解释分析。
• 对阿拉伯文化和语言现象进行定量研究。

商业用途

• Jais 30B和70B聊天模型适用于直接用于聊天应用，或针对特定任务进行进一步微调。
• 开发面向阿拉伯语用户的聊天助手。
• 进行情感分析，以深入了解当地市场和客户趋势。
• 对英阿双语文档进行摘要生成。

目标受众

• 学术界：从事阿拉伯语自然语言处理研究的人员。
• 企业界：针对阿拉伯语受众的公司。
• 开发者：在应用程序中集成阿拉伯语能力的开发者。

不适用场景

虽然Jais系列模型是强大的阿拉伯语和英语双语模型，但了解其局限性和潜在的滥用风险至关重要。禁止以任何违反适用法律法规的方式使用该模型。以下是一些不适合使用该模型的场景示例：

• 恶意使用：不得使用该模型生成有害、误导性或不适当的内容，包括但不限于生成或传播仇恨言论、暴力、歧视性内容，传播错误信息或虚假新闻，参与或促进非法活动。
• 敏感信息处理：不得使用该模型处理或生成个人、机密或敏感信息。
• 跨语言通用性：Jais系列模型是双语模型，针对阿拉伯语和英语进行了优化，不应假定其在其他语言或方言上具有同等的能力。
• 高风险决策：在没有人工监督的情况下，不得使用该模型做出高风险决策，如医疗、法律、金融或安全关键决策。

⚠️ 偏差、风险和局限性

Jais系列模型在部分由Inception策划的公开可用数据上进行训练。虽然采用了不同的技术来减少模型中的偏差，但与所有大语言模型一样，该模型可能仍然存在一定的偏差。微调后的变体是为阿拉伯语和英语使用者作为AI助手进行训练的，聊天模型仅限于对这两种语言的查询生成响应，可能无法对其他语言的查询提供适当的响应。使用Jais模型即表示您承认并接受，与任何大语言模型一样，它可能会生成不正确、误导性和/或冒犯性的信息或内容。这些信息不构成建议，不应以任何方式依赖，我们也不对其使用产生的任何内容或后果负责。我们正在不断努力开发更强大的模型，欢迎对模型提出任何反馈。

总结

我们发布了Jais系列阿拉伯语和英语双语模型。广泛的预训练模型规模、将以英语为中心的模型适应阿拉伯语的方法，以及对所有规模模型的微调，为阿拉伯语环境下的商业和学术应用开辟了众多用例。通过此次发布，我们旨在使大语言模型更易于阿拉伯语NLP研究人员和公司使用，提供比以英语为中心的模型更好地理解阿拉伯文化的本地阿拉伯语模型。我们在预训练、微调以及适应阿拉伯语方面采用的策略可扩展到其他中低资源语言，为满足本地语境的语言聚焦型和易用型模型铺平了道路。

引用信息

@misc{sengupta2023jais,
      title={Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models}, 
      author={Neha Sengupta, Sunil Kumar Sahu, Bokang Jia, Satheesh Katipomu, Haonan Li, Fajri Koto, William Marshall, Gurpreet Gosal, Cynthia Liu, Zhiming Chen, Osama Mohammed Afzal, Samta Kamboj, Onkar Pandit, Rahul Pal, Lalit Pradhan, Zain Muhammad Mujahid, Massa Baali, Xudong Han, Sondos Mahmoud Bsharat, Alham Fikri Aji, Zhiqiang Shen, Zhengzhong Liu, Natalia Vassilieva, Joel Hestness, Andy Hock, Andrew Feldman, Jonathan Lee, Andrew Jackson, Hector Xuguang Ren, Preslav Nakov, Timothy Baldwin and Eric Xing},
      year={2023},
      eprint={2308.16149},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@article{jaisfamilymodelcard,
    title={Jais Family Model Card},
    author={Inception},
    year={2024},
    url = {https://huggingface.co/inceptionai/jais-family-30b-16k-chat/blob/main/README.md}
}

📄 许可证

本项目采用Apache 2.0许可证。版权归Inception Institute of Artificial Intelligence Ltd.所有。除非遵守许可协议，否则不得使用JAIS。您可以在此处获取许可协议的副本。除非适用法律要求或书面同意，否则JAIS按“原样”分发，不提供任何形式的明示或暗示保证。有关许可协议的具体语言权限和限制，请参阅许可协议的条款。