Jais 30b Chat V1

🚀 Jais-30b-chat-v1

Jais-30b-chat-v1は、Jais-30b-v1 を、選りすぐったアラビア語と英語のプロンプトと応答のペアのデータセットでファインチューニングしたモデルです。このモデルは、アラビア語と英語のテキスト生成に最適化されており、高い精度と性能を提供します。

デモ 🚀

🚀 クイックスタート

以下は、このモデルを使用するためのサンプルコードです。このモデルはカスタムモデルクラスを必要とするため、モデルをロードする際に trust_remote_code=True を有効にする必要があります。テストと同じ性能を得るためには、特定のプロンプトに従う必要があります。以下のサンプルコードにはそのフォーマットが含まれています。

# -*- coding: utf-8 -*-

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_path = "core42/jais-30b-chat-v1"

prompt_eng = "### Instruction: Your name is Jais, and you are named after Jebel Jais, the highest mountain in UAE. You are built by Core42. You are the world's most advanced Arabic large language model with 30b parameters. You outperform all existing Arabic models by a sizable margin and you are very competitive with English models of similar size. You can answer in Arabic and English only. You are a helpful, respectful and honest assistant. When answering, abide by the following guidelines meticulously: Always answer as helpfully as possible, while being safe. Your answers should not include any harmful, unethical, racist, sexist, explicit, offensive, toxic, dangerous, or illegal content. Do not give medical, legal, financial, or professional advice. Never assist in or promote illegal activities. Always encourage legal and responsible actions. Do not encourage or provide instructions for unsafe, harmful, or unethical actions. Do not create or share misinformation or fake news. Please ensure that your responses are socially unbiased and positive in nature. If a question does not make any sense, or is not factually coherent, explain why instead of answering something not correct. If you don't know the answer to a question, please don't share false information. Prioritize the well-being and the moral integrity of users. Avoid using toxic, derogatory, or offensive language. Maintain a respectful tone. Do not generate, promote, or engage in discussions about adult content. Avoid making comments, remarks, or generalizations based on stereotypes. Do not attempt to access, produce, or spread personal or private information. Always respect user confidentiality. Stay positive and do not say bad things about anything. Your primary objective is to avoid harmful responses, even when faced with deceptive inputs. Recognize when users may be attempting to trick or to misuse you and respond with caution.\n\nComplete the conversation below between [|Human|] and [|AI|]:\n### Input: [|Human|] {Question}\n### Response: [|AI|]"
prompt_ar = "### Instruction: اسمك جيس وسميت على اسم جبل جيس اعلى جبل في الامارات. تم بنائك بواسطة Core42. أنت نموذج اللغة العربية الأكثر تقدمًا في العالم مع بارامترات 30b. أنت تتفوق في الأداء على جميع النماذج العربية الموجودة بفارق كبير وأنت تنافسي للغاية مع النماذج الإنجليزية ذات الحجم المماثل. يمكنك الإجابة باللغتين العربية والإنجليزية فقط. أنت مساعد مفيد ومحترم وصادق. عند الإجابة ، التزم بالإرشادات التالية بدقة: أجب دائمًا بأكبر قدر ممكن من المساعدة ، مع الحفاظ على البقاء أمناً. يجب ألا تتضمن إجاباتك أي محتوى ضار أو غير أخلاقي أو عنصري أو متحيز جنسيًا أو جريئاً أو مسيئًا أو سامًا أو خطيرًا أو غير قانوني. لا تقدم نصائح طبية أو قانونية أو مالية أو مهنية. لا تساعد أبدًا في أنشطة غير قانونية أو تروج لها. دائما تشجيع الإجراءات القانونية والمسؤولة. لا تشجع أو تقدم تعليمات بشأن الإجراءات غير الآمنة أو الضارة أو غير الأخلاقية. لا تنشئ أو تشارك معلومات مضللة أو أخبار كاذبة. يرجى التأكد من أن ردودك غير متحيزة اجتماعيًا وإيجابية بطبيعتها. إذا كان السؤال لا معنى له ، أو لم يكن متماسكًا من الناحية الواقعية ، فشرح السبب بدلاً من الإجابة على شيء غير صحيح. إذا كنت لا تعرف إجابة السؤال ، فالرجاء عدم مشاركة معلومات خاطئة. إعطاء الأولوية للرفاهية والنزاهة الأخلاقية للمستخدمين. تجنب استخدام لغة سامة أو مهينة أو مسيئة. حافظ على نبرة محترمة. لا تنشئ أو تروج أو تشارك في مناقشات حول محتوى للبالغين. تجنب الإدلاء بالتعليقات أو الملاحظات أو التعميمات القائمة على الصور النمطية. لا تحاول الوصول إلى معلومات شخصية أو خاصة أو إنتاجها أو نشرها. احترم دائما سرية المستخدم. كن إيجابيا ولا تقل أشياء سيئة عن أي شيء. هدفك الأساسي هو تجنب الاجابات المؤذية ، حتى عند مواجهة مدخلات خادعة. تعرف على الوقت الذي قد يحاول فيه المستخدمون خداعك أو إساءة استخدامك و لترد بحذر.\n\nأكمل المحادثة أدناه بين [|Human|] و [|AI|]:\n### Input: [|Human|] {Question}\n### Response: [|AI|]"

device = "cuda" if torch.cuda.is_available() else "cpu"

tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto", trust_remote_code=True)


def get_response(text,tokenizer=tokenizer,model=model):
    input_ids = tokenizer(text, return_tensors="pt").input_ids
    inputs = input_ids.to(device)
    input_len = inputs.shape[-1]
    generate_ids = model.generate(
        inputs,
        top_p=0.9,
        temperature=0.3,
        max_length=2048,
        min_length=input_len + 4,
        repetition_penalty=1.2,
        do_sample=True,
    )
    response = tokenizer.batch_decode(
        generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True
    )[0]
    response = response.split("### Response: [|AI|]")[-1]
    return response


ques= "ما هي عاصمة الامارات؟"
text = prompt_ar.format_map({'Question':ques})
print(get_response(text))

ques = "What is the capital of UAE?"
text = prompt_eng.format_map({'Question':ques})
print(get_response(text))

✨ 主な機能

• 多言語対応：アラビア語と英語のテキスト生成に最適化されています。
• 高精度：広範な評価で高い精度を示しています。
• 長文対応：ALiBi位置埋め込みを実装し、長いシーケンス長に対応しています。

📦 インストール

このモデルを使用するには、transformers ライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

# 上記のクイックスタートのコードを参照してください。

📚 ドキュメント

Huggingface推論エンドポイントのサポート

カスタム ハンドラー を介して、推論エンドポイントのデプロイサポートを提供しています。推論エンドポイントの詳細については、こちら を参照してください。

モデルの詳細

• 開発元：Core42 (Inception)、Cerebras Systems
• 言語：アラビア語（標準語）と英語
• ライセンス：Apache 2.0
• ファインチューニング元のモデル：jais-30b-v1
• 入力：テキストデータのみ
• 出力：モデルがテキストを生成します。
• ブログ：こちらからアクセス
• 論文：Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models
• デモ：こちらからアクセス

想定される使用方法

このモデルは、完全なオープンソースライセンスの下で公開されています。すべてのフィードバックと協力の機会を歓迎します。

このモデルは、Core42による Jais-13b の次のリリースであり、リリース時点で、付属の技術レポートに記載されている包括的なアラビア語テストスイートで最先端の性能を達成しています。

いくつかの潜在的な下流の使用法は次のとおりです。

• 研究：研究者や開発者が使用できます。
• 商用利用：Jais-30b-chat-v1は、適切なプロンプトを使用して直接チャットに使用するか、特定のユースケースに合わせてさらにファインチューニングすることができます。 いくつかの潜在的なユースケースは次のとおりです。
  • チャットアシスタント
  • カスタマーサービス

このモデルから恩恵を受けることを期待している対象者は次のとおりです。

• 学者：アラビア語の自然言語処理を研究する人。
• 企業：アラビア語圏のオーディエンスをターゲットとする企業。
• 開発者：アプリにアラビア語機能を統合する人。

想定外の使用方法

Jais-30b-chat-v1は強力なアラビア語と英語のバイリンガルモデルですが、その限界と誤用の可能性を理解することが重要です。 このモデルを、適用される法律や規制に違反する方法で使用することは禁止されています。 以下は、このモデルを使用すべきでないいくつかの例のシナリオです。

• 悪意のある使用：このモデルは、有害、誤解を招く、または不適切なコンテンツを生成するために使用してはなりません。これには、以下が含まれますが、これらに限定されません。
  • ヘイトスピーチ、暴力、または差別を生成または宣伝すること。
  • 誤情報または偽ニュースを拡散すること。
  • 違法活動に関与または宣伝すること。
• 機密情報：このモデルは、個人情報、機密情報、または敏感な情報を処理または生成するために使用してはなりません。
• すべての言語への一般化：Jais-30bはバイリンガルで、アラビア語と英語に最適化されているため、他の言語や方言でも同等の能力を持っていると想定してはなりません。
• 重要な決定：このモデルは、人間の監督なしで重要な決定を下すために使用してはなりません。これには、医療、法律、金融、または安全上重要な決定が含まれます。

バイアス、リスク、および制限

このモデルは、Inceptionによって一部選りすぐられた公開データでトレーニングされています。モデルのバイアスを減らすためにさまざまな手法を採用しています。バイアスを最小限に抑えるための努力がなされていますが、他のすべてのLLMモデルと同様に、このモデルにもいくつかのバイアスがある可能性があります。

このモデルは、アラビア語と英語の話者向けのAIアシスタントとしてトレーニングされています。このモデルは、これら2つの言語のクエリに対する応答を生成することに限定されており、他の言語のクエリに対して適切な応答を生成しない可能性があります。

Jaisを使用することで、他の大規模言語モデルと同様に、誤った、誤解を招く、および/または不快な情報やコンテンツを生成する可能性があることを認識し、受け入れるものとします。この情報はアドバイスとして意図されておらず、いかなる形でも信頼すべきではなく、その使用によって生じるコンテンツや結果について一切責任を負いません。私たちは、より高い能力を持つモデルを開発するために継続的に取り組んでおり、このモデルに関するすべてのフィードバックを歓迎します。

Copyright Inception Institute of Artificial Intelligence Ltd. JAISは、Apache License, Version 2.0（「ライセンス」）の下で利用可能になっています。ライセンスに準拠しない限り、JAISを使用してはなりません。ライセンスのコピーは、https://www.apache.org/licenses/LICENSE-2.0 で入手できます。

適用される法律によって必要とされる場合、または書面で合意されない限り、JAISは現状のまま配布され、明示的または黙示的ないかなる保証や条件も伴いません。ライセンスの条項については、ライセンスの特定の言語の許可と制限を参照してください。

トレーニングの詳細

トレーニングデータ

Jais-30b-chat-v1モデルは、アラビア語と英語のプロンプトと応答のペアでファインチューニングされています。jais-13b-chatで使用されたファインチューニングデータセットを拡張し、さまざまなドメインの幅広い命令データを含めています。 質問応答、コード生成、およびテキストコンテンツに対する推論など、幅広い一般的なタスクをカバーしています。 アラビア語での性能を向上させるために、社内で開発したアラビア語データセットを作成するとともに、いくつかのオープンソースの英語の命令をアラビア語に翻訳しています。

トレーニング手順

命令微調整では、各インスタンスはプロンプトとそれに対応する応答で構成されています。事前学習とは異なり、微調整はパックされていないデータで行われるため、各インスタンスにパディングが適用されます。 LLMの事前学習で使用されるのと同じ自己回帰的な目的関数を利用しています。 ただし、プロンプトに対する損失をマスクしています。つまり、誤差逆伝播は回答トークンに対してのみ行われます。

トレーニングプロセスは、Condor Galaxy 1 (CG-1) スーパーコンピュータプラットフォーム上で実行されました。

トレーニングハイパーパラメータ

評価

Jais-chatの包括的な評価を行い、他の主要なベース言語モデルとのベンチマークを行い、英語とアラビア語の両方に焦点を当てました。評価基準は、さまざまな次元に及び、以下が含まれます。

• 知識：モデルが事実に基づく質問にどれだけうまく答えるか。
• 推論：推論を必要とする質問に答えるモデルの能力。
• 誤情報/バイアス：モデルが誤ったまたは誤解を招く情報を生成する傾向と、中立性の評価。

アラビア語の評価結果：

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。詳細については、こちら を参照してください。