Jais Family 6p7b

🚀 Jais ファミリーモデルカード

Jais ファミリーのモデルは、英語とアラビア語のバイリンガル大規模言語モデル（LLM）の包括的なシリーズです。これらのモデルは、英語の能力も強力でありながら、アラビア語での性能を最適化するように設計されています。我々は、以下の 2 種類の基礎モデルをリリースしています。

• ゼロから事前学習されたモデル (jais-family-*)。
• Llama-2 から適応的に事前学習されたモデル (jais-adapted-*)。

今回のリリースでは、5 億 9 千万から 700 億のパラメータを持つ 8 つのサイズの 20 種類のモデルを導入しています。これらのモデルは、最大 1.6 兆トークンのアラビア語、英語、コードデータで学習されています。このシリーズのすべての事前学習モデルは、アラビア語と英語の命令データの選りすぐりのミックスを使用して、ダイアログ用に命令微調整（*-chat）されています。

我々は、この大規模なリリースがアラビア語の自然言語処理の研究を加速し、アラビア語を話すコミュニティやバイリンガルコミュニティに多くの下流アプリケーションを可能にすることを期待しています。我々がアラビア語モデルに成功させた学習と適応技術は、他の低・中資源言語にも拡張可能です。

✨ 主な機能

Jais ファミリーの詳細

• 開発元: Inception、Cerebras Systems。
• 言語: (NLP): アラビア語（MSA）と英語。
• 入力: テキストデータのみ。
• 出力: モデルがテキストを生成します。
• モデルサイズ: 5 億 9 千万、13 億、27 億、67 億、70 億、130 億、300 億、700 億。
• デモ: ここからライブデモにアクセス
• ライセンス: Apache 2.0

モデルアーキテクチャ:

このファミリーのすべてのモデルは、トランスフォーマーベースのデコーダー専用アーキテクチャ（GPT - 3）を使用した自己回帰型言語モデルです。

Jais モデル (jais-family-*) はゼロから学習されており、SwiGLU 非線形活性化関数と ALiBi 位置符号化を組み込んでいます。これらのアーキテクチャの改良により、モデルは長いシーケンス長での外挿が可能になり、コンテキストの処理と精度が向上します。

Jais 適応モデル (jais-adapted-*) はLlama - 2 をベースに構築されており、RoPE 位置埋め込みとグループ化クエリアテンションを採用しています。我々は、アラビア語データを用いたトークナイザーの拡張を導入し、生産性と計算効率を 3 倍以上向上させています。具体的には、Llama - 2 のトークナイザーに Jais - 30b の語彙から 32,000 の新しいアラビア語トークンを追加しています。 これらの新しいアラビア語トークン埋め込みを初期化するために、まず両方の語彙に存在する共有英語トークンのセットを使用して、Jais - 30b の埋め込み空間から Llama の埋め込み空間への線形射影を学習します。次に、この学習された射影を適用して、既存の Jais - 30b のアラビア語埋め込みを Llama - 2 の埋め込み空間に変換します。

🚀 クイックスタート

以下は、モデルを使用するサンプルコードです。モデルはカスタムモデルクラスを必要とするため、モデルをロードする際に trust_remote_code=True を有効にする必要があります。

# -*- coding: utf-8 -*-

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_path = "inceptionai/jais-family-6p7b"

device = "cuda" if torch.cuda.is_available() else "cpu"

tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto", trust_remote_code=True)


def get_response(text, tokenizer=tokenizer, model=model):
    input_ids = tokenizer(text, return_tensors="pt").input_ids
    inputs = input_ids.to(device)
    input_len = inputs.shape[-1]
    generate_ids = model.generate(
        inputs,
        top_p=0.9,
        temperature=0.3,
        max_length=2048,
        min_length=input_len + 4,
        repetition_penalty=1.2,
        do_sample=True,
    )
    response = tokenizer.batch_decode(
        generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True
    )[0]
    return response


text = "عاصمة دولة الإمارات العربية المتحدة ه"
print(get_response(text))

text = "The capital of UAE is"
print(get_response(text))

📚 ドキュメント

学習の詳細

事前学習データ

Jais ファミリーのモデルは、多様な英語、アラビア語、コードデータの最大 1.6 兆トークンで学習されています。このデータは以下のソースから構成されています。

• Web: 公開されているウェブページ、ウィキペディア記事、ニュース記事、およびアラビア語と英語のソーシャルネットワークコンテンツを使用しています。
• コード: モデルの推論能力を強化するために、様々なプログラミング言語のコードデータを含めています。
• 書籍: 公開されているアラビア語と英語の書籍データの選択肢を使用しており、長距離コンテキストモデリングと首尾一貫したストーリーテリングを向上させています。
• 科学: 推論能力と長いコンテキスト能力を向上させるために、ArXiv 論文のサブセットを含めています。
• 合成: 自社の機械翻訳システムを使用して英語をアラビア語に翻訳することで、アラビア語データの量を増やしています。これは、英語のウィキペディアや英語の書籍などの高品質な英語リソースに限定しています。

我々は、学習データを広範に前処理し、重複を削除しています。アラビア語については、高い言語品質のデータをフィルタリングするためのカスタム前処理パイプラインを使用しています。このパイプラインの詳細については、Jais 論文を参照してください。

• Jais 事前学習 (jais-family-*): Jais での言語アライメント混合の以前の実験に基づき、アラビア語:英語:コードデータの比率を 1:2:0.4 で使用しています。このゼロからの事前学習のレシピは、アラビア語データの不足を解消しながら、両言語での性能を向上させます。
• Jais 適応事前学習 (jais-adapted-*): Llama - 2 の適応事前学習には、英語とコードデータと混合された約 3340 億のアラビア語トークンの大規模なアラビア語データセットを利用しています。我々は、異なるモデルサイズで混合比率を変えることで、英語での性能を維持しながら強力なアラビア語能力を導入しています。

微調整データ

Jais ファミリーのすべてのチャットモデルは、シングルターンとマルチターンの両方の設定でアラビア語と英語のプロンプト - レスポンスペアを使用して微調整されています。データソースには、トピックとスタイルの多様性についてフィルタリングされたオープンソースの微調整データセットが含まれています。さらに、文化的適応を強化するために、社内で選りすぐりされた人間データが組み込まれています。このデータは、機械翻訳、蒸留、モデルの自己チャットなどの合成方法を使用して生成されたコンテンツで補完されています。全体として、我々の更新された命令微調整データセットは、それぞれ英語とアラビア語で約 1000 万と約 400 万のプロンプト - レスポンスペアで構成されています。

学習手順

(jais-family-*) モデルの事前学習中は、文書は EOS トークンで区切られたシーケンスにパックされ、モデルは自己回帰的に学習され、すべてのトークンに損失が適用されます。jais - 30b モデルの場合、コンテキスト長は、学習に精選された長いコンテキスト文書を組み込むことで、2k から 8K から 16K へと段階的に拡張されます。この段階的な拡張により、短いコンテキスト長での初期学習を高速化しながら、学習プロセスの終わりに向かってより大きなコンテキスト長のサポートを徐々に拡張します。

(jais-adapted-*) モデルの適応事前学習中は、まず モデルアーキテクチャ で説明したように、新しいトークナイザーとアラビア語埋め込みを初期化します。学習では、新しいアラビア語埋め込みの高いノルムを克服するために、2 段階アプローチを実装しています。最初の段階では、モデルのバックボーンを凍結し、英語とアラビア語のバイリンガルコーパスから約 150 億トークンを使用して埋め込みを学習します。2 番目の段階では、バックボーンを凍結解除し、すべてのパラメータで継続的な事前学習を行います。

命令微調整中は、各学習例はシングルターンまたはマルチターンのプロンプトとその応答で構成されています。シーケンスごとに 1 つの例ではなく、例はまとめてパックされ、損失はプロンプトトークンにマスクされます。このアプローチにより、バッチごとにより多くの例を処理できるようになり、学習が高速化されます。

学習ハイパーパラメータ:

Jais-family-6p7b

コンピューティングインフラストラクチャ

学習プロセスは、Condor Galaxy（CG）スーパーコンピュータプラットフォームで実行されました。CG は、40 GB の SRAM を備えた 64 台の Cerebras CS - 2 ウェハスケールエンジン（WSE - 2）を含み、合計 960 PetaFLOP/s を達成します。

評価

我々は、LM - harness を使用してゼロショット設定で、英語とアラビア語の両方に焦点を当てた Jais モデルの包括的な評価を行いました。評価基準は、以下の様々な次元を網羅しています。

• 知識: モデルが事実的な質問にどれだけうまく答えるか。
• 推論: モデルが推論を必要とする質問に答える能力。
• 誤情報/バイアス: モデルが誤ったまたは誤解を招く情報を生成する可能性、および中立性の評価。

アラビア語評価結果: