Snowflake Arctic Base

🚀 アークティックモデル

アークティックは、SnowflakeのAI研究チームによってゼロから事前学習された、dense - MoEハイブリッドトランスフォーマーアーキテクチャです。Apache - 2.0ライセンスの下で、アークティックのベースバージョンと命令調整済みバージョンのモデルチェックポイントを公開しています。これにより、あなた自身の研究、プロトタイプ、および製品で自由に使用することができます。

🚀 クイックスタート

アークティックモデルの詳細や関連リソースについては、Snowflake Arctic: The Best LLM for Enterprise AI — Efficiently Intelligent, Truly Open を参照してください。また、最新の詳細やチュートリアルなどは、GitHubリポジトリ をご覧ください。

✨ 主な機能

• モデルの入力はテキストのみです。
• モデルの出力はテキストとコードのみです。
• モデルのリリース日は2024年4月24日です。

📦 インストール

アークティックを使用するには、以下のライブラリをインストールする必要があります。

pip install transformers>=4.39.0
pip install deepspeed>=0.14.2

💻 使用例

基本的な使用法

import os
# enable hf_transfer for faster ckpt download
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from deepspeed.linear.config import QuantizationConfig

tokenizer = AutoTokenizer.from_pretrained(
    "Snowflake/snowflake-arctic-instruct",
    trust_remote_code=True
)
quant_config = QuantizationConfig(q_bits=8)

model = AutoModelForCausalLM.from_pretrained(
    "Snowflake/snowflake-arctic-instruct",
    trust_remote_code=True,
    low_cpu_mem_usage=True,
    device_map="auto",
    ds_quantization_config=quant_config,
    max_memory={i: "150GiB" for i in range(8)},
    torch_dtype=torch.bfloat16)


content = "5x + 35 = 7x - 60 + 10. Solve for x"
messages = [{"role": "user", "content": content}]
input_ids = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to("cuda")

outputs = model.generate(input_ids=input_ids, max_new_tokens=256)
print(tokenizer.decode(outputs[0]))

高度な使用法

アークティックのGitHubページには、推論を実行するための追加のコードスニペットや例があります。

• pure - HFを使用した例
• vLLMを使用したチュートリアル

📚 ドキュメント

モデルの詳細

• モデル開発者：Snowflake AI Research Team
• ライセンス：Apache - 2.0
• 入力：モデルはテキストのみを入力とします。
• 出力：モデルはテキストとコードのみを生成します。
• モデルのリリース日：2024年4月24日

モデルアーキテクチャ

アークティックは、10Bのdenseトランスフォーマーモデルと、残差128x3.66BのMoE MLPを組み合わせており、合計480B、アクティブパラメータは17B（top - 2ゲーティングを使用して選択）です。アークティックのモデルアーキテクチャ、トレーニングプロセス、データなどの詳細については、こちらのクックブックシリーズ を参照してください。

モデルのチェックポイント

• Arctic - Base
• Arctic - Instruct

🔧 技術詳細

アークティックは現在、transformers で カスタムコード機能 を利用してサポートされています。これを使用するには、AutoTokenizerとAutoModelForCausalLMの呼び出しに trust_remote_code=True を追加するだけです。ただし、transformers のバージョン4.39以上を使用することをお勧めします。

📄 ライセンス

このモデルはApache - 2.0ライセンスの下で公開されています。