🚀 LaMini-T5-738M

このモデルは、論文「LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions」にて紹介されているLaMini-LMモデルシリーズの一つです。このモデルは、t5-largeをLaMini-instruction datasetでファインチューニングしたもので、このデータセットには258万件の命令微調整用のサンプルが含まれています。データセットの詳細については、プロジェクトリポジトリを参照してください。

✨ 主な機能

LaMini-LMシリーズの他のモデルを以下に示します。✩ が付いているモデルは、そのサイズやアーキテクチャにおいて総合的な性能が最も良いものであり、使用をおすすめします。詳細は論文を参照してください。

🚀 クイックスタート

このモデルは、自然言語で記述された人間の命令に応答するために使用することをおすすめします。以下に、HuggingFaceのpipeline()を使用してモデルをロードし、使用する方法を示します。

💻 使用例

基本的な使用法

# pip install -q transformers
from transformers import pipeline

checkpoint = "{model_name}"

model = pipeline('text2text-generation', model = checkpoint)

input_prompt = 'Please let me know your thoughts on the given place and why you think it deserves to be visited: \n"Barcelona, Spain"'
generated_text = model(input_prompt, max_length=512, do_sample=True)[0]['generated_text']

print("Response", generated_text)

🔧 技術詳細

学習手順

このモデルは、t5-largeを初期化し、LaMini-instruction datasetでファインチューニングしています。総パラメータ数は7.38億です。

学習ハイパーパラメータ

学習時には以下のハイパーパラメータが使用されました。

• learning_rate: 0.0005
• train_batch_size: 128
• eval_batch_size: 64
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 512
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 5

📚 ドキュメント

評価

下流のNLPタスクに対する自動評価と、ユーザー向けの命令に対する人間評価の2種類の評価を行っています。詳細については、論文を参照してください。

制限事項

詳細情報が必要です。

📄 ライセンス

このモデルはCC By NC 4.0ライセンスの下で提供されています。

引用

@article{lamini-lm,
  author       = {Minghao Wu and
                  Abdul Waheed and
                  Chiyu Zhang and
                  Muhammad Abdul-Mageed and
                  Alham Fikri Aji
                  },
  title        = {LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions},
  journal      = {CoRR},
  volume       = {abs/2304.14402},
  year         = {2023},
  url          = {https://arxiv.org/abs/2304.14402},
  eprinttype   = {arXiv},
  eprint       = {2304.14402}
}