Mobilellama 1.4B Base

🚀 MobileLLaMA-1.4B-Base

MobileLLaMA-1.4B-Baseは、14億のパラメータを持つTransformerモデルです。LLaMAを縮小し、そのままでのデプロイを容易にしました。再現性を高めるため、すべてのモデルはRedPajama v1データセットの1.3Tトークンのみを使用して学習されています。これにより、コントロールされた実験が可能になり、さらなる研究に役立ちます。

🚀 クイックスタート

モデルの重みはHugging Face Transformersを使用して読み込むことができます。使用例はGithubで確認できます。

✨ 主な機能

当社のモデルは、言語理解と常識推論の2つの標準的な自然言語ベンチマークで広範に評価されています。実験結果から、MobileLLaMA 1.4Bは最新のオープンソースモデルと同等の性能を発揮することが示されています。

📦 インストール

ドキュメントに具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

ドキュメントに具体的なコード例が記載されていないため、このセクションをスキップします。

📚 ドキュメント

モデル情報

モデルソース

• リポジトリ: https://github.com/Meituan-AutoML/MobileVLM
• 論文: https://arxiv.org/abs/2312.16886

学習詳細

学習の詳細については、当社の論文のセクション4.1「MobileVLM: A Fast, Strong and Open Vision Language Assistant for Mobile Devices」を参照してください。

🔧 技術詳細

ドキュメントに具体的な技術詳細が記載されていないため、このセクションをスキップします。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。