Lamini T5 61M

🚀 LaMini-T5-61M

このモデルは論文「LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions」のLaMini-LMシリーズの一つです。このモデルは、t5-smallをLaMini-instruction datasetでファインチューニングしたもので、このデータセットには命令ファインチューニング用の258万件のサンプルが含まれています。データセットの詳細については、プロジェクトリポジトリを参照してください。
LaMini-LMシリーズの他のモデルは以下の通りです。✩が付いているモデルは、そのサイズ/アーキテクチャにおいて総合的な性能が最も良いものであり、使用をおすすめします。詳細は論文を参照してください。

🚀 クイックスタート

想定される使用方法

このモデルは、自然言語で書かれた人間の命令に応答するために使用することを推奨します。

HuggingFaceのpipeline()を使用して、モデルをロードして使用する方法を紹介します。

# pip install -q transformers
from transformers import pipeline

checkpoint = "{model_name}"

model = pipeline('text2text-generation', model = checkpoint)

input_prompt = 'Please let me know your thoughts on the given place and why you think it deserves to be visited: \n"Barcelona, Spain"'
generated_text = model(input_prompt, max_length=512, do_sample=True)[0]['generated_text']

print("Response", generated_text)

🔧 技術詳細

学習手順

このモデルは、t5-smallを初期化し、LaMini-instruction datasetでファインチューニングしています。総パラメータ数は61Mです。

学習ハイパーパラメータ

学習時に使用されたハイパーパラメータは以下の通りです。

• learning_rate: 0.0005
• train_batch_size: 128
• eval_batch_size: 64
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 512
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 5

📚 ドキュメント

評価

下流のNLPタスクに対する自動評価と、ユーザー向けの命令に対する人間評価の2種類の評価を行いました。詳細については、論文を参照してください。

制限事項

詳細情報が必要です

📄 ライセンス

このモデルはCC By NC 4.0ライセンスの下で提供されています。

📖 引用

@article{lamini-lm,
  author       = {Minghao Wu and
                  Abdul Waheed and
                  Chiyu Zhang and
                  Muhammad Abdul-Mageed and
                  Alham Fikri Aji
                  },
  title        = {LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions},
  journal      = {CoRR},
  volume       = {abs/2304.14402},
  year         = {2023},
  url          = {https://arxiv.org/abs/2304.14402},
  eprinttype   = {arXiv},
  eprint       = {2304.14402}
}