Jais Family 13b

🚀 Jais ファミリーモデルカード

Jais ファミリーのモデルは、英語とアラビア語のバイリンガル大規模言語モデル（LLM）の包括的なシリーズです。これらのモデルは、英語の能力も強力でありながら、アラビア語での性能を最適化するように設計されています。我々は、以下の 2 種類の基礎モデルをリリースしています。

• ゼロから事前学習されたモデル（jais-family-*）。
• Llama-2 から適応的に事前学習されたモデル（jais-adapted-*）。

今回のリリースでは、590M から 70B のパラメータを持つ 8 種類のサイズで 20 のモデルを導入しています。これらのモデルは、最大 1.6T のアラビア語、英語、およびコードデータのトークンで学習されています。このシリーズのすべての事前学習モデルは、アラビア語と英語の命令データの選りすぐりなミックスを使用して、ダイアログ用に命令微調整（*-chat）されています。

我々は、この大規模なリリースがアラビア語の自然言語処理（NLP）の研究を加速し、アラビア語を話すコミュニティやバイリンガルコミュニティに多数の下流アプリケーションを可能にすることを期待しています。我々がアラビア語モデルに成功して適用した学習と適応技術は、他の低・中リソース言語にも拡張可能です。

✨ 主な機能

Jais ファミリーのモデルは、英語とアラビア語の両方で高い性能を発揮し、アラビア語のデータ不足を解消しながら、両言語での性能を向上させることができます。また、異なるサイズのモデルが用意されており、さまざまなユースケースに対応できます。

📦 インストール

この README ではインストール手順に関する具体的な内容がありませんので、このセクションは省略されます。

💻 使用例

基本的な使用法

# -*- coding: utf-8 -*-

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_path = "inceptionai/jais-family-13b"

device = "cuda" if torch.cuda.is_available() else "cpu"

tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto", trust_remote_code=True)


def get_response(text, tokenizer=tokenizer, model=model):
    input_ids = tokenizer(text, return_tensors="pt").input_ids
    inputs = input_ids.to(device)
    input_len = inputs.shape[-1]
    generate_ids = model.generate(
        inputs,
        top_p=0.9,
        temperature=0.3,
        max_length=2048,
        min_length=input_len + 4,
        repetition_penalty=1.2,
        do_sample=True,
    )
    response = tokenizer.batch_decode(
        generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True
    )[0]
    return response


text = "عاصمة دولة الإمارات العربية المتحدة ه"
print(get_response(text))

text = "The capital of UAE is"
print(get_response(text))

📚 ドキュメント

Jais ファミリーの詳細

• 開発元: Inception, Cerebras Systems。
• 言語: (NLP): アラビア語（MSA）と英語。
• 入力: テキストデータのみ。
• 出力: モデルがテキストを生成します。
• モデルサイズ: 590M、1.3B、2.7B、6.7B、7B、13B、30B、70B。
• デモ: ここからライブデモにアクセス
• ライセンス: Apache 2.0

モデルアーキテクチャ

このファミリーのすべてのモデルは、トランスフォーマーベースのデコーダー専用アーキテクチャ（GPT - 3）を使用する自己回帰型言語モデルです。

Jais モデル（jais-family-*）はゼロから学習され、SwiGLU 非線形活性化関数と ALiBi 位置エンコーディングを組み込んでいます。これらのアーキテクチャの改良により、モデルは長いシーケンス長での外挿が可能になり、コンテキストの処理と精度が向上します。

Jais 適応モデル（jais-adapted-*）はLlama - 2 をベースに構築され、RoPE 位置埋め込みとグループ化クエリアテンションを採用しています。我々は、アラビア語データを用いたトークナイザーの拡張を導入し、生産性と計算効率を 3 倍以上向上させています。具体的には、Jais - 30b の語彙から 32,000 の新しいアラビア語トークンを Llama - 2 のトークナイザーに追加しています。これらの新しいアラビア語トークン埋め込みを初期化するために、まず両方の語彙に存在する共有英語トークンのセットを使用して、Jais - 30b の埋め込み空間から Llama の埋め込み空間への線形射影を学習します。次に、この学習された射影を適用して、既存の Jais - 30b のアラビア語埋め込みを Llama - 2 の埋め込み空間に変換します。

学習の詳細

事前学習データ

Jais ファミリーのモデルは、最大 1.6 兆の多様な英語、アラビア語、およびコードデータのトークンで学習されています。データは以下のソースから構成されています。

• ウェブ: 公開されているウェブページ、ウィキペディア記事、ニュース記事、およびアラビア語と英語の両方のソーシャルネットワークコンテンツを使用しました。
• コード: モデルの推論能力を強化するために、さまざまなプログラミング言語のコードデータを含めています。
• 書籍: 公開されているアラビア語と英語の書籍データの選択を使用しました。これにより、長距離コンテキストのモデリングと首尾一貫したストーリーテリングが向上します。
• 科学文献: 推論能力と長いコンテキストの能力を向上させるために、ArXiv 論文のサブセットを含めました。
• 合成データ: 自社の機械翻訳システムを使用して英語をアラビア語に翻訳することで、アラビア語データの量を増やしています。これは、英語のウィキペディアや英語の書籍などの高品質の英語リソースに限定しています。

我々は、学習データを広範に前処理し、重複を削除しています。アラビア語については、高い言語品質のデータをフィルタリングするためのカスタム前処理パイプラインを使用しています。このパイプラインの詳細については、Jais 論文を参照してください。

• Jais 事前学習モデル（jais-family-*）: Jais での言語アライメントミキシングの以前の実験に基づき、アラビア語:英語:コードデータの比率を 1:2:0.4 で使用しています。このゼロからの事前学習のレシピは、アラビア語データの不足を解消しながら、両言語での性能を向上させます。
• Jais 適応事前学習モデル（jais-adapted-*）: Llama - 2 の適応事前学習には、英語とコードデータと混合した約 3340 億のアラビア語トークンの大規模なアラビア語データセットを利用しています。我々は、異なるモデルサイズでミキシング比率を変えることで、英語での性能を維持しながら、強力なアラビア語能力を導入しています。

微調整データ

Jais ファミリーのすべてのチャットモデルは、シングルターンとマルチターンの両方の設定でアラビア語と英語のプロンプト - レスポンスペアを使用して微調整されています。データソースには、トピックとスタイルの多様性についてフィルタリングされたオープンソースの微調整データセットが含まれています。さらに、文化的適応性を強化するために、社内で選りすぐりされた人間のデータも組み込まれています。このデータは、機械翻訳、蒸留、およびモデルの自己チャットを含む合成方法を使用して生成されたコンテンツで補完されています。全体として、我々の更新された命令微調整データセットは、それぞれ英語とアラビア語で約 1000 万と約 400 万のプロンプト - レスポンスペアで構成されています。

学習手順

• 事前学習（jais-family-*）: ドキュメントは EOS トークンで区切られたシーケンスにパックされ、モデルは自己回帰的に学習され、すべてのトークンに損失が適用されます。jais - 30b モデルの場合、コンテキスト長は、学習において選りすぐりされた長いコンテキストのドキュメントを組み込むことで、2k から 8K へ、さらに 16K へと段階的に拡張されます。この段階的な拡張により、短いコンテキスト長での初期学習を高速化しながら、学習プロセスの終盤に向けてより大きなコンテキスト長のサポートを徐々に拡張することができます。
• 適応事前学習（jais-adapted-*）: まず、モデルアーキテクチャで説明したように、新しいトークナイザーとアラビア語埋め込みを初期化します。学習では、新しいアラビア語埋め込みの高いノルムを克服するために、二段階アプローチを実装しています。第一段階では、モデルのバックボーンを凍結し、英語とアラビア語のバイリンガルコーパスから約 150 億のトークンを使用して埋め込みを学習します。第二段階では、バックボーンを凍結解除し、すべてのパラメータで継続的な事前学習を行います。
• 命令微調整: 各学習例は、シングルターンまたはマルチターンのプロンプトとそのレスポンスで構成されています。シーケンスごとに 1 つの例ではなく、例をまとめてパックし、損失はプロンプトトークンにマスクされます。このアプローチにより、バッチごとにより多くの例を処理できるため、学習が高速化されます。

学習ハイパーパラメータ:

Jais-family-13b

計算インフラ

学習プロセスは、Condor Galaxy（CG）スーパーコンピュータープラットフォーム上で実行されました。CG は、40GB の SRAM を備えた 64 台の Cerebras CS - 2 ウェハースケールエンジン（WSE - 2）を含み、合計 960 PetaFLOP/s を達成します。

評価

我々は、LM - harness を使用してゼロショット設定で、英語とアラビア語の両方に焦点を当てた Jais モデルの包括的な評価を行いました。評価基準は、以下の様々な次元に及んでいます。

• 知識: モデルが事実系の質問にどれだけうまく答えるか。
• 推論: モデルが推論を必要とする質問に答える能力。
• 誤情報/バイアス: モデルが誤ったまたは誤解を招く情報を生成する可能性、および中立性の評価。

アラビア語の評価結果: