Lamini GPT 774M

🚀 LaMini-GPT-774M

このモデルは、大規模命令から蒸留された多様なモデル群であるLaMini-LMシリーズの一つで、自然言語で書かれた人間の命令に応答するのに最適です。

このモデルは、論文「LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions」に記載されているLaMini-LMモデルシリーズの一つです。このモデルは、gpt2-largeをLaMini-instruction datasetでファインチューニングしたもので、命令のファインチューニングに258万件のサンプルが含まれています。データセットに関する詳細情報は、プロジェクトリポジトリを参照してください。

以下にLaMini-LMシリーズの他のモデルを示します。✩ が付いているモデルは、そのサイズ/アーキテクチャにおいて総合的な性能が最も良いものであり、使用を推奨します。詳細は論文を参照してください。

🚀 クイックスタート

想定される使用方法

このモデルは、自然言語で書かれた人間の命令に応答するために使用することを推奨します。このデコーダ専用のモデルはラッパーテキストでファインチューニングされているため、同じラッパーテキストを使用することで最高の性能を発揮します。右の例または以下のコードを参照してください。

以下に、HuggingFaceのpipeline()を使用してモデルをロードし、使用する方法を示します。

# pip install -q transformers
from transformers import pipeline

checkpoint = "{model_name}" 

model = pipeline('text-generation', model = checkpoint)

instruction = 'Please let me know your thoughts on the given place and why you think it deserves to be visited: \n"Barcelona, Spain"'

input_prompt = f"Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Response:"

generated_text = model(input_prompt, max_length=512, do_sample=True)[0]['generated_text']

print("Response", generated_text)

🔧 技術詳細

学習手順

このモデルは、gpt2-largeを初期化し、LaMini-instruction datasetでファインチューニングしています。総パラメータ数は774Mです。

学習ハイパーパラメータ

評価

下流のNLPタスクに対する自動評価と、ユーザー向け命令に対する人間評価の2セットの評価を行いました。詳細については、論文を参照してください。

制限事項

詳細情報が必要です。

📄 ライセンス

このモデルはCC By NC 4.0ライセンスの下で提供されています。

📖 引用

@article{lamini-lm,
  author       = {Minghao Wu and
                  Abdul Waheed and
                  Chiyu Zhang and
                  Muhammad Abdul-Mageed and
                  Alham Fikri Aji
                  },
  title        = {LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions},
  journal      = {CoRR},
  volume       = {abs/2304.14402},
  year         = {2023},
  url          = {https://arxiv.org/abs/2304.14402},
  eprinttype   = {arXiv},
  eprint       = {2304.14402}
}