🚀 LaMini-T5-738M
LaMini-T5-738M 是 LaMini-LM 模型系列中的一員,該模型基於大規模指令進行蒸餾,能夠有效響應自然語言編寫的人類指令,為自然語言處理任務提供強大支持。
🚀 快速開始
你可以使用 HuggingFace 的 pipeline()
函數來加載和使用這個模型。以下是一個簡單的示例代碼:
from transformers import pipeline
checkpoint = "{model_name}"
model = pipeline('text2text-generation', model = checkpoint)
input_prompt = 'Please let me know your thoughts on the given place and why you think it deserves to be visited: \n"Barcelona, Spain"'
generated_text = model(input_prompt, max_length=512, do_sample=True)[0]['generated_text']
print("Response", generated_text)
✨ 主要特性
- 指令微調:該模型在包含 258 萬個樣本的 LaMini-instruction 數據集上進行了微調,能夠更好地響應自然語言指令。
- 模型系列豐富:LaMini-LM 系列包含多種基於不同基礎模型的變體,為用戶提供了更多選擇。
📦 安裝指南
使用前請確保已經安裝了 transformers
庫,可以使用以下命令進行安裝:
pip install -q transformers
💻 使用示例
基礎用法
from transformers import pipeline
checkpoint = "{model_name}"
model = pipeline('text2text-generation', model = checkpoint)
input_prompt = 'Please let me know your thoughts on the given place and why you think it deserves to be visited: \n"Barcelona, Spain"'
generated_text = model(input_prompt, max_length=512, do_sample=True)[0]['generated_text']
print("Response", generated_text)
📚 詳細文檔
訓練過程
我們使用 t5-large 作為基礎模型,並在 LaMini-instruction 數據集上進行微調。該模型的總參數數量為 7.38 億。
訓練超參數
以下是訓練過程中使用的超參數:
屬性 |
詳情 |
學習率 |
0.0005 |
訓練批次大小 |
128 |
評估批次大小 |
64 |
隨機種子 |
42 |
梯度累積步數 |
4 |
總訓練批次大小 |
512 |
優化器 |
Adam(beta1=0.9,beta2=0.999,epsilon=1e-08) |
學習率調度器類型 |
線性 |
訓練輪數 |
5 |
評估
我們進行了兩組評估:下游 NLP 任務的自動評估和麵向用戶指令的人工評估。更多詳細信息請參考我們的 論文。
🔧 技術細節
本模型是論文 "LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions" 中 LaMini-LM 模型系列的一部分。它基於 t5-large 進行微調,在 LaMini-instruction 數據集 上進行訓練,該數據集包含 258 萬個用於指令微調的樣本。
📄 許可證
本模型採用 CC BY-NC 4.0 許可證。
引用
@article{lamini-lm,
author = {Minghao Wu and
Abdul Waheed and
Chiyu Zhang and
Muhammad Abdul-Mageed and
Alham Fikri Aji
},
title = {LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions},
journal = {CoRR},
volume = {abs/2304.14402},
year = {2023},
url = {https://arxiv.org/abs/2304.14402},
eprinttype = {arXiv},
eprint = {2304.14402}
}