Lamini Flan T5 248M

🚀 LaMini-Flan-T5-248M

このモデルは、論文「LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions」にて紹介されているLaMini-LMモデルシリーズの一つです。このモデルは、google/flan-t5-baseを、命令微調整用の258万サンプルを含むLaMini-instruction datasetで微調整したバージョンです。データセットの詳細については、プロジェクトリポジトリを参照してください。
LaMini-LMシリーズの他のモデルは以下の通りです。✩ が付いているモデルは、そのサイズ/アーキテクチャにおいて総合的な性能が最も良いものであり、使用をおすすめします。詳細は論文を参照してください。

🚀 クイックスタート

このモデルは自然言語で書かれた人間の命令に応答するために使用することをおすすめします。以下に、HuggingFaceのpipeline()を使用してモデルをロードし、使用する方法を示します。

# pip install -q transformers
from transformers import pipeline

checkpoint = "{model_name}"

model = pipeline('text2text-generation', model = checkpoint)

input_prompt = 'Please let me know your thoughts on the given place and why you think it deserves to be visited: \n"Barcelona, Spain"'
generated_text = model(input_prompt, max_length=512, do_sample=True)[0]['generated_text']

print("Response", generated_text)

✨ 主な機能

• 自然言語で書かれた命令に応答することができます。
• LaMini-instruction datasetで微調整されているため、多様な命令に対応できます。

📦 インストール

pip install -q transformers

💻 使用例

基本的な使用法

# pip install -q transformers
from transformers import pipeline

checkpoint = "{model_name}"

model = pipeline('text2text-generation', model = checkpoint)

input_prompt = 'Please let me know your thoughts on the given place and why you think it deserves to be visited: \n"Barcelona, Spain"'
generated_text = model(input_prompt, max_length=512, do_sample=True)[0]['generated_text']

print("Response", generated_text)

📚 ドキュメント

訓練手順

このモデルは、google/flan-t5-baseを初期化し、LaMini-instruction datasetで微調整しています。総パラメータ数は248Mです。

訓練ハイパーパラメータ

訓練中に使用されたハイパーパラメータは以下の通りです。

• learning_rate: 0.0005
• train_batch_size: 128
• eval_batch_size: 64
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 512
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 5

評価

下流のNLPタスクに対する自動評価と、ユーザー向け命令に対する人間評価の2種類の評価を行っています。詳細については、論文を参照してください。

制限事項

詳細情報が必要です。

🔧 技術詳細

このモデルは、google/flan-t5-baseを初期化し、LaMini-instruction datasetで微調整しています。総パラメータ数は248Mです。訓練中に使用されたハイパーパラメータは以下の通りです。

• learning_rate: 0.0005
• train_batch_size: 128
• eval_batch_size: 64
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 512
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 5

📄 ライセンス

このモデルは、CC By NC 4.0ライセンスの下で提供されています。

📖 引用

@article{lamini-lm,
  author       = {Minghao Wu and
                  Abdul Waheed and
                  Chiyu Zhang and
                  Muhammad Abdul-Mageed and
                  Alham Fikri Aji
                  },
  title        = {LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions},
  journal      = {CoRR},
  volume       = {abs/2304.14402},
  year         = {2023},
  url          = {https://arxiv.org/abs/2304.14402},
  eprinttype   = {arXiv},
  eprint       = {2304.14402}
}

関連モデル