R

Relullama 7B

SparseLLMによって開発
Llama 2 7Bを微調整したReLU活性化スパース大規模言語モデル、動的パラメータ選択により計算効率を向上
ダウンロード数 5,323
リリース時間 : 11/28/2023

モデル概要

ReLU活性化関数を採用したスパース大規模言語モデル、知識蒸留と共同最適化により効率的な推論を実現、英語テキスト処理タスクに適応

モデル特徴

スパース計算最適化
ReLU活性化関数を採用し、MoEのような選択的パラメータ活性化を実現、計算効率を向上
共同最適化訓練
言語モデリングと知識蒸留タスクを同期して実行、過学習を防止し汎化能力を強化
効率的推論サポート
PowerInfer推論フレームワークと互換性があり、CPUスパース推論加速をサポート

モデル能力

英語テキスト生成
言語理解
質問応答システム
知識推論

使用事例

効率最適化
CPU環境推論加速
リソース制約環境で効率的な推論を実現
スパース推論速度8.21トークン/秒(i9-13900K)
学術研究
スパース計算研究
スパース大規模言語モデルアルゴリズム研究のための基礎モデルを提供
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase