Mobillama 05B

🚀 MobiLlama-05B

MobiLlama-05Bは、5億のパラメータを持つ小型言語モデルです。このモデルは、Amberデータソース Amber-Dataset を使用してトレーニングされています。

🚀 クイックスタート

"Bigger the better" は、近年の大規模言語モデル（LLM）開発における主要なトレンドでした。しかし、LLMはデバイス上での処理、エネルギー効率、低メモリ使用量、および応答効率が要求されるシナリオには適していません。これらの要件は、プライバシー、セキュリティ、および持続可能な展開にとって重要です。この論文では、リソース制約のあるデバイス向けに、精度が高く効率的な小型言語モデル（SLM）を設計するという課題に取り組み、「少ないが良い」というパラダイムを探求しています。主な貢献は、正確で完全に透明なオープンソースの5億（0.5B）パラメータのSLMであるMobiLlamaを導入し、リソース制約のあるコンピューティングの特定のニーズに対応し、リソース要求を減らしながらパフォーマンスを向上させることです。MobiLlamaは、より大きなモデルから始まり、注意深いパラメータ共有スキームを適用して、事前トレーニングと展開のコストを削減するSLM設計です。この研究は、オープンソースのSLMにおけるギャップを埋めるだけでなく、完全なトレーニングデータパイプライン、トレーニングコード、モデルの重み、300以上のチェックポイント、および評価コードが Github で利用可能な完全な透明性を保証しています。

Arxiv Paper Link

📚 ドキュメント

モデルの概要

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("MBZUAI/MobiLlama-05B", trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("MBZUAI/MobiLlama-05B", trust_remote_code=True)

model.to('cuda')
text = "I was walking towards the river when "
input_ids = tokenizer(text, return_tensors="pt").to('cuda').input_ids
outputs = model.generate(input_ids, max_length=1000, repetition_penalty=1.2, pad_token_id=tokenizer.eos_token_id)
print(tokenizer.batch_decode(outputs[:, input_ids.shape[1]:-1])[0].strip())

トレーニングデータミックス

ハイパーパラメータ

評価

引用

BibTeX:

@misc{thawakar2024mobillama,
      title={MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT}, 
      author={Omkar Thawakar and Ashmal Vayani and Salman Khan and Hisham Cholakkal and Rao Muhammad Anwer and Michael Felsberg and Timothy Baldwin and Eric P. Xing and Fahad Shahbaz Khan},
      year={2024},
      eprint={2402.16840},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
} 

📄 ライセンス

このモデルは MITライセンス の下で提供されています。