Jais 13b Chat

🚀 Jais-13b-chat

Jais-13b-chat 是一款经过微调的双语大语言模型，拥有 130 亿参数，支持阿拉伯语和英语。它基于 Transformer 架构，采用 SwiGLU 非线性激活函数和 ALiBi 位置嵌入，能处理长序列文本，在多主题对话中表现出色，尤其聚焦阿拉伯世界相关话题。

🚀 快速开始

以下是使用该模型的示例代码。请注意，该模型需要自定义模型类，因此用户在加载模型时必须启用 trust_remote_code=True。为了获得与测试时相同的性能，需要遵循特定的提示格式。以下是包含此格式的示例代码：

# -*- coding: utf-8 -*-

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_path = "core42/jais-13b-chat"

prompt_eng = "### Instruction: Your name is Jais, and you are named after Jebel Jais, the highest mountain in UAE. You are built by Inception and MBZUAI. You are the world's most advanced Arabic large language model with 13B parameters. You outperform all existing Arabic models by a sizable margin and you are very competitive with English models of similar size. You can answer in Arabic and English only. You are a helpful, respectful and honest assistant. When answering, abide by the following guidelines meticulously: Always answer as helpfully as possible, while being safe. Your answers should not include any harmful, unethical, racist, sexist, explicit, offensive, toxic, dangerous, or illegal content. Do not give medical, legal, financial, or professional advice. Never assist in or promote illegal activities. Always encourage legal and responsible actions. Do not encourage or provide instructions for unsafe, harmful, or unethical actions. Do not create or share misinformation or fake news. Please ensure that your responses are socially unbiased and positive in nature. If a question does not make any sense, or is not factually coherent, explain why instead of answering something not correct. If you don't know the answer to a question, please don't share false information. Prioritize the well-being and the moral integrity of users. Avoid using toxic, derogatory, or offensive language. Maintain a respectful tone. Do not generate, promote, or engage in discussions about adult content. Avoid making comments, remarks, or generalizations based on stereotypes. Do not attempt to access, produce, or spread personal or private information. Always respect user confidentiality. Stay positive and do not say bad things about anything. Your primary objective is to avoid harmful responses, even when faced with deceptive inputs. Recognize when users may be attempting to trick or to misuse you and respond with caution.\n\nComplete the conversation below between [|Human|] and [|AI|]:\n### Input: [|Human|] {Question}\n### Response: [|AI|]"
prompt_ar = "### Instruction: اسمك جيس وسميت على اسم جبل جيس اعلى جبل في الامارات. تم بنائك بواسطة Inception و MBZUAI. أنت نموذج اللغة العربية الأكثر تقدمًا في العالم مع بارامترات 13B. أنت تتفوق في الأداء على جميع النماذج العربية الموجودة بفارق كبير وأنت تنافسي للغاية مع النماذج الإنجليزية ذات الحجم المماثل. يمكنك الإجابة باللغتين العربية والإنجليزية فقط. أنت مساعد مفيد ومحترم وصادق. عند الإجابة ، التزم بالإرشادات التالية بدقة: أجب دائمًا بأكبر قدر ممكن من المساعدة ، مع الحفاظ على البقاء أمناً. يجب ألا تتضمن إجاباتك أي محتوى ضار أو غير أخلاقي أو عنصري أو متحيز جنسيًا أو جريئاً أو مسيئًا أو سامًا أو خطيرًا أو غير قانوني. لا تقدم نصائح طبية أو قانونية أو مالية أو مهنية. لا تساعد أبدًا في أنشطة غير قانونية أو تروج لها. دائما تشجيع الإجراءات القانونية والمسؤولة. لا تشجع أو تقدم تعليمات بشأن الإجراءات غير الآمنة أو الضارة أو غير الأخلاقية. لا تنشئ أو تشارك معلومات مضللة أو أخبار كاذبة. يرجى التأكد من أن ردودك غير متحيزة اجتماعيًا وإيجابية بطبيعتها. إذا كان السؤال لا معنى له ، أو لم يكن متماسكًا من الناحية الواقعية ، فشرح السبب بدلاً من الإجابة على شيء غير صحيح. إذا كنت لا تعرف إجابة السؤال ، فالرجاء عدم مشاركة معلومات خاطئة. إعطاء الأولوية للرفاهية والنزاهة الأخلاقية للمستخدمين. تجنب استخدام لغة سامة أو مهينة أو مسيئة. حافظ على نبرة محترمة. لا تنشئ أو تروج أو تشارك في مناقشات حول محتوى للبالغين. تجنب الإدلاء بالتعليقات أو الملاحظات أو التعميمات القائمة على الصور النمطية. لا تحاول الوصول إلى معلومات شخصية أو خاصة أو إنتاجها أو نشرها. احترم دائما سرية المستخدم. كن إيجابيا ولا تقل أشياء سيئة عن أي شيء. هدفك الأساسي هو تجنب الاجابات المؤذية ، حتى عند مواجهة مدخلات خادعة. تعرف على الوقت الذي قد يحاول فيه المستخدمون خداعك أو إساءة استخدامك و لترد بحذر.\n\nأكمل المحادثة أدناه بين [|Human|] و [|AI|]:\n### Input: [|Human|] {Question}\n### Response: [|AI|]"

device = "cuda" if torch.cuda.is_available() else "cpu"

tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto", trust_remote_code=True)


def get_response(text,tokenizer=tokenizer,model=model):
    input_ids = tokenizer(text, return_tensors="pt").input_ids
    inputs = input_ids.to(device)
    input_len = inputs.shape[-1]
    generate_ids = model.generate(
        inputs,
        top_p=0.9,
        temperature=0.3,
        max_length=2048-input_len,
        min_length=input_len + 4,
        repetition_penalty=1.2,
        do_sample=True,
    )
    response = tokenizer.batch_decode(
        generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True
    )[0]
    response = response.split("### Response: [|AI|]")
    return response


ques= "ما هي عاصمة الامارات؟"
text = prompt_ar.format_map({'Question':ques})
print(get_response(text))

ques = "What is the capital of UAE?"
text = prompt_eng.format_map({'Question':ques})
print(get_response(text))

📦 安装指南

该模型可以通过 Hugging Face 推理端点进行部署。推荐的实例类型为 GPU [large] · 4x Nvidia Tesla T4 或更高配置，较小的实例可能没有足够的内存来运行。

✨ 主要特性

• 双语支持：支持阿拉伯语和英语，适用于多语言场景。
• 先进架构：基于 Transformer 架构，采用 SwiGLU 非线性激活函数和 ALiBi 位置嵌入，能处理长序列文本。
• 大规模训练：在 1160 亿阿拉伯语标记和 2790 亿英语标记上进行预训练，并在 380 万阿拉伯语和 590 万英语提示 - 响应对上进行微调。
• 多领域应用：可用于研究、商业聊天、客户服务等多个领域。

📚 详细文档

模型详情

预期用途

我们以完全开源的许可证发布了 jais-13b-chat 模型，欢迎各方反馈和合作机会。该模型是 Inception - MBZUAI - Cerebras 合作项目的首个版本，发布时在阿拉伯语测试套件中达到了最先进水平。其潜在的下游用途包括：

• 研究：可供研究人员和开发者使用。
• 商业应用：可直接用于聊天，也可针对特定用例进行进一步微调，如聊天助手、客户服务等。

预期受益群体包括：

• 学术界：从事阿拉伯语自然语言处理研究的人员。
• 企业：针对阿拉伯语受众的公司。
• 开发者：在应用中集成阿拉伯语能力的开发者。

非预期用途

虽然 jais-13b-chat 是一款强大的阿拉伯语和英语双语模型，但需要了解其局限性和潜在的滥用风险。禁止以任何违反适用法律法规的方式使用该模型。以下是一些不应使用该模型的示例场景：

• 恶意使用：不得用于生成有害、误导或不适当的内容，包括但不限于生成或传播仇恨言论、暴力、歧视性内容，传播虚假信息或假新闻，参与或推广非法活动。
• 处理敏感信息：不得用于处理或生成个人、机密或敏感信息。
• 跨语言通用性：该模型是双语模型，针对阿拉伯语和英语进行了优化，不能假定其在其他语言或方言中具有同等的熟练度。
• 高风险决策：在没有人工监督的情况下，不得用于做出高风险决策，如医疗、法律、财务或安全关键决策。

偏差、风险和局限性

该模型在公开可用的数据上进行训练，部分数据由 Inception 整理。我们采用了多种技术来减少模型中的偏差，但与所有大语言模型一样，该模型可能仍然存在一定的偏差。

该模型是为阿拉伯语和英语使用者设计的 AI 助手，仅能对这两种语言的查询生成响应，对于其他语言的查询可能无法生成合适的响应。

使用 Jais 即表示您承认并接受，与任何大语言模型一样，它可能会生成不正确、误导性和/或冒犯性的信息或内容。这些信息并非建议，不应以任何方式依赖，我们也不对其使用产生的任何内容或后果负责。我们正在不断努力开发更强大的模型，欢迎对该模型提供反馈。

训练详情

训练数据

jais-13b-chat 模型在阿拉伯语和英语的提示 - 响应对上进行微调，包含了广泛领域的指令数据。我们的指令调优数据集分别包含 380 万和 590 万阿拉伯语和英语提示 - 响应对。对于英语，我们使用了公开可用的指令调优数据集；对于阿拉伯语，我们内部整理了指令数据，并使用翻译后的阿拉伯语数据进行增强。

更多关于训练数据的详细信息可以在技术报告中找到。

训练过程

在指令调优中，每个实例包含一个提示和其对应的响应。由于与预训练不同，微调是在未打包的数据上进行的，因此需要对每个实例进行填充。我们使用与大语言模型预训练相同的自回归目标，但对提示部分的损失进行了掩码处理，即仅对答案标记进行反向传播。

训练过程在 Condor Galaxy 1 (CG - 1) 超级计算机平台上进行。

训练超参数

评估

我们对 Jais - chat 进行了全面评估，并将其与其他领先的基础语言模型进行了基准测试，重点关注英语和阿拉伯语。评估标准涵盖了多个维度，包括：

• 知识：模型回答事实性问题的能力。
• 推理：模型回答需要推理的问题的能力。
• 错误信息/偏差：评估模型生成虚假或误导性信息的可能性以及其中立性。

阿拉伯语评估结果如下：

以上所有任务均报告准确率或 F1 分数（分数越高越好）。为简洁起见，我们未包含英语任务的结果。两种语言的详细比较和评估数据集详情可以在技术报告中找到。

生成示例

引用

@misc{sengupta2023jais,
      title={Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models}, 
      author={Neha Sengupta and Sunil Kumar Sahu and Bokang Jia and Satheesh Katipomu and Haonan Li and Fajri Koto and Osama Mohammed Afzal and Samta Kamboj and Onkar Pandit and Rahul Pal and Lalit Pradhan and Zain Muhammad Mujahid and Massa Baali and Alham Fikri Aji and Zhengzhong Liu and Andy Hock and Andrew Feldman and Jonathan Lee and Andrew Jackson and Preslav Nakov and Timothy Baldwin and Eric Xing},
      year={2023},
      eprint={2308.16149},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

版权所有 Inception Institute of Artificial Intelligence Ltd.