🚀 LaMini-T5-738M

LaMini-T5-738M 是 LaMini-LM 模型系列中的一员，该模型基于大规模指令进行蒸馏，能够有效响应自然语言编写的人类指令，为自然语言处理任务提供强大支持。

🚀 快速开始

你可以使用 HuggingFace 的 pipeline() 函数来加载和使用这个模型。以下是一个简单的示例代码：

# pip install -q transformers
from transformers import pipeline

checkpoint = "{model_name}"

model = pipeline('text2text-generation', model = checkpoint)

input_prompt = 'Please let me know your thoughts on the given place and why you think it deserves to be visited: \n"Barcelona, Spain"'
generated_text = model(input_prompt, max_length=512, do_sample=True)[0]['generated_text']

print("Response", generated_text)

✨ 主要特性

• 指令微调：该模型在包含 258 万个样本的 LaMini-instruction 数据集上进行了微调，能够更好地响应自然语言指令。
• 模型系列丰富：LaMini-LM 系列包含多种基于不同基础模型的变体，为用户提供了更多选择。

📦 安装指南

使用前请确保已经安装了 transformers 库，可以使用以下命令进行安装：

pip install -q transformers

💻 使用示例

基础用法

# pip install -q transformers
from transformers import pipeline

checkpoint = "{model_name}"

model = pipeline('text2text-generation', model = checkpoint)

input_prompt = 'Please let me know your thoughts on the given place and why you think it deserves to be visited: \n"Barcelona, Spain"'
generated_text = model(input_prompt, max_length=512, do_sample=True)[0]['generated_text']

print("Response", generated_text)

📚 详细文档

训练过程

我们使用 t5-large 作为基础模型，并在 LaMini-instruction 数据集上进行微调。该模型的总参数数量为 7.38 亿。

训练超参数

以下是训练过程中使用的超参数：

评估

我们进行了两组评估：下游 NLP 任务的自动评估和面向用户指令的人工评估。更多详细信息请参考我们的 论文。

🔧 技术细节

本模型是论文 "LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions" 中 LaMini-LM 模型系列的一部分。它基于 t5-large 进行微调，在 LaMini-instruction 数据集 上进行训练，该数据集包含 258 万个用于指令微调的样本。

📄 许可证

本模型采用 CC BY-NC 4.0 许可证。

引用

@article{lamini-lm,
  author       = {Minghao Wu and
                  Abdul Waheed and
                  Chiyu Zhang and
                  Muhammad Abdul-Mageed and
                  Alham Fikri Aji
                  },
  title        = {LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions},
  journal      = {CoRR},
  volume       = {abs/2304.14402},
  year         = {2023},
  url          = {https://arxiv.org/abs/2304.14402},
  eprinttype   = {arXiv},
  eprint       = {2304.14402}
}