Z

Zamba 7B V1 Phase1

Zyphraによって開発
Zamba-7B-v1-phase1は、状態空間モデルMambaとTransformerのハイブリッドアーキテクチャで、Mambaをバックボーンネットワークとして使用し、6つのモジュールごとに1つのTransformer層を共有し、次の単語予測を通じてトレーニングされます。
ダウンロード数 22
リリース時間 : 5/22/2024

モデル概要

このモデルは純粋な事前学習チェックポイントで、主にアニーリング処理効果の研究に使用され、Mistral v0.1のトークナイザーを採用し、オープンネットワークデータセットで提供された1兆のテキストとコードトークンで事前学習されました。

モデル特徴

ハイブリッドアーキテクチャ設計
Mambaバックボーンネットワークと共有重みTransformer層を組み合わせ、情報の層間保持能力を最適化
効率的な推論
SSMアーキテクチャのおかげで、推論効率と生成メモリコストにおいて、同様の7B/8Bモデルを大幅にリード
高いサンプル効率
同等規模のオープンソースモデルと比較して、より少ないトレーニングトークン量で優れた性能を達成

モデル能力

テキスト生成
コード補完
知識質問応答

使用事例

研究ツール
アーキテクチャ比較研究
純粋な事前学習チェックポイントとしてアニーリング処理効果の研究に使用
ベンチマーク比較データを提供
テキスト生成
オープンドメインQA
歴史、技術などの分野の質問に回答
一貫性のある回答テキストを生成
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase