Elastic Llama 3.2 1B Instruct

🚀 エラスティックモデル: Llama-3.2-1B-Instruct。セルフサービングに最適な高速かつ柔軟なモデル

エラスティックモデルは、TheStage AI ANNA（Automated Neural Networks Accelerator）によって生成されるモデルです。ANNAを使用すると、簡単なスライダー操作でモデルのサイズ、レイテンシー、品質を制御できます。各モデルに対して、ANNAは一連の最適化されたモデルを生成します。

• XL: 数学的に同等のニューラルネットワークで、当社のDNNコンパイラで最適化されています。
• L: ほぼ損失のないモデルで、対応するベンチマークで1%未満の性能劣化が見られます。
• M: より高速なモデルで、精度の劣化は1.5%未満です。
• S: 最も高速なモデルで、精度の劣化は2%未満です。

エラスティックモデルの目標:

• 推論時のコストと品質の選択に柔軟性を提供する
• 明確な品質とレイテンシーのベンチマークを提供する
• HFライブラリ（transformersとdiffusers）のインターフェースを1行のコードで提供する
• 広範なハードウェアでサポートされるモデルを提供し、事前コンパイルされておりJITが不要です。
• セルフホスティングに最適なモデルとサービスを提供する

⚠️ 重要提示

具体的な品質劣化はモデルによって異なることに注意してください。たとえば、Sモデルでは0.5%の劣化もあり得ます。

🚀 クイックスタート

推論

このモデルを推論するには、transformers のインポートを elastic_models.transformers に置き換えるだけです。

import torch
from transformers import AutoTokenizer
from elastic_models.transformers import AutoModelForCausalLM

# Currently we require to have your HF token
# as we use original weights for part of layers and
# model confugaration as well
model_name = "meta-llama/Llama-3.2-1B-Instruct"
hf_token = ''
device = torch.device("cuda")

# Create mode
tokenizer = AutoTokenizer.from_pretrained(
    model_name, token=hf_token
)
model = AutoModelForCausalLM.from_pretrained(
    model_name, 
    token=hf_token,
    torch_dtype=torch.bfloat16,
    attn_implementation="sdpa",
    mode='S'
).to(device)
model.generation_config.pad_token_id = tokenizer.eos_token_id

# Inference simple as transformers library
prompt = "Describe basics of DNNs quantization."
messages = [
  {
    "role": "system",
    "content": "You are a search bot, answer on user text queries."
  },
  {
    "role": "user",
    "content": prompt
  }
]

chat_prompt = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True, tokenize=False
)

inputs = tokenizer(chat_prompt, return_tensors="pt")
inputs.to(device)

with torch.inference_mode:
    generate_ids = model.generate(**inputs, max_length=500)

input_len = inputs['input_ids'].shape[1]
generate_ids = generate_ids[:, input_len:]
output = tokenizer.batch_decode(
    generate_ids,
    skip_special_tokens=True, 
    clean_up_tokenization_spaces=False
)[0]

# Validate answer
print(f"# Q:\n{prompt}\n")
print(f"# A:\n{output}\n")

システム要件:

• GPU: H100, L40s
• CPU: AMD, Intel
• Python: 3.10 - 3.12

モデルを使用するには、ターミナルで以下のコマンドを実行します。

pip install thestage
pip install elastic_models[nvidia]\
 --index-url https://thestage.jfrog.io/artifactory/api/pypi/pypi-thestage-ai-production/simple\
 --extra-index-url https://pypi.nvidia.com\
 --extra-index-url https://pypi.org/simple

pip install flash_attn==2.7.3 --no-build-isolation
pip uninstall apex

次に、app.thestage.ai にアクセスしてログインし、プロファイルページからAPIトークンを生成します。APIトークンを以下のように設定します。

thestage config set --api-token <YOUR_API_TOKEN>

おめでとうございます！これで高速化されたモデルを使用できます。

📚 ドキュメント

ベンチマーク

ベンチマークは、モデルの高速化において最も重要な手順の1つです。当社のアルゴリズムを使用したモデルの明確なパフォーマンス指標を提供することを目指しています。W8A8, int8 列は、すべての線形レイヤーにint8データ型でW8A8量子化を適用し、ANNAと同じキャリブレーションデータを使用したことを示しています。Sモデルは、ほぼ同じ速度を達成しながら、はるかに高い品質を実現します。なぜなら、ANNAは敏感なレイヤーでの量子化品質を向上させる方法を知っているからです！

品質ベンチマーク

• MMLU: 科学、人文科学、工学など57の科目にわたる一般知識を評価します。モデルが多様な学術的トピックを扱う能力を示します。
• PIQA: 日常の物理的相互作用に関する質問を通じて物理的常識推論を評価します。モデルが現実世界の物理概念を理解する能力を示します。
• Arc Challenge: 小学校レベルの推論を必要とする選択問題を評価します。モデルが複雑な推論タスクを解く能力を示します。
• Winogrande: 文章の完成タスクを通じて常識推論を評価します。モデルが文脈を理解し、曖昧さを解消する能力を示します。

レイテンシーベンチマーク

100入力/300出力; トークン/秒:

🔗 リンク

• プラットフォーム: app.thestage.ai
• 更新情報の購読: TheStageAI X
• お問い合わせメール: contact@thestage.ai

📄 ライセンス

Apache-2.0