Lamini Flan T5 248M

🚀 LaMini-Flan-T5-248M

LaMini-Flan-T5-248M是LaMini-LM模型系列中的一員，該模型基於大規模指令進行蒸餾，可有效響應自然語言編寫的人類指令，為自然語言處理任務提供支持。

🚀 快速開始

本模型推薦用於響應自然語言編寫的人類指令。下面展示如何使用HuggingFace的pipeline()加載和使用我們的模型。

# pip install -q transformers
from transformers import pipeline

checkpoint = "{model_name}"

model = pipeline('text2text-generation', model = checkpoint)

input_prompt = 'Please let me know your thoughts on the given place and why you think it deserves to be visited: \n"Barcelona, Spain"'
generated_text = model(input_prompt, max_length=512, do_sample=True)[0]['generated_text']

print("Response", generated_text)

✨ 主要特性

• LaMini-LM系列成員：本模型是論文 "LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions" 中LaMini-LM模型系列的一部分。
• 微調模型：基於 google/flan-t5-base 在 LaMini-instruction dataset 上進行微調，該數據集包含258萬個用於指令微調的樣本。

LaMini-LM系列其他模型

你可以查看LaMini-LM系列的其他模型，帶有 ✩ 的模型在其規模/架構下整體性能最佳，推薦使用。更多細節可查看我們的論文。

📚 詳細文檔

訓練過程

我們使用 google/flan-t5-base 進行初始化，並在 LaMini-instruction dataset 上進行微調，模型總參數數量為2.48億。

訓練超參數

訓練過程中使用了以下超參數：

• 學習率：0.0005
• 訓練批次大小：128
• 評估批次大小：64
• 隨機種子：42
• 梯度累積步數：4
• 總訓練批次大小：512
• 優化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
• 學習率調度器類型：線性
• 訓練輪數：5

評估

我們進行了兩組評估：下游NLP任務的自動評估和麵向用戶指令的人工評估。更多細節請參考我們的 論文。

侷限性

更多信息待補充。

📄 許可證

本模型採用CC BY NC 4.0許可證。

📖 引用

@article{lamini-lm,
  author       = {Minghao Wu and
                  Abdul Waheed and
                  Chiyu Zhang and
                  Muhammad Abdul-Mageed and
                  Alham Fikri Aji
                  },
  title        = {LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions},
  journal      = {CoRR},
  volume       = {abs/2304.14402},
  year         = {2023},
  url          = {https://arxiv.org/abs/2304.14402},
  eprinttype   = {arXiv},
  eprint       = {2304.14402}
}