# 効率的な注意機構

Mistral-7B-Instruct-v0.2はMistral-7B-Instruct-v0.1を改良した命令微調整大規模言語モデルで、Wanda枝刈り手法を用いて2%の疎性に圧縮され、再訓練不要で競争力のある性能を維持します。

Mistral-7B-Instruct-v0.2はMistral-7B-Instruct-v0.1を強化した命令微調整大規模言語モデルで、Wanda枝刈り手法により30%のスパース化を実現し、再訓練不要で競争力のある性能を維持します。

LongT5はT5アーキテクチャに基づくテキスト間変換モデルで、一時的グローバル注意機構を採用し長いシーケンス入力を効率的に処理します

このモデルは蒸留版データ効率的画像Transformer（DeiT）で、ImageNet-1kにおいて224x224解像度で事前学習と微調整を行い、教師モデルから効率的に学習します。