Phico D Instruck

🚀 acecalisto3/PhiCo-D-Instruck模型

acecalisto3/PhiCo-D-Instruck 是一个基于 🤗 Transformers 库的模型，可在 Hugging Face 模型中心获取。该模型主要用于指令跟随任务，能够根据给定的上下文和指令生成相应的回复。

🚀 快速开始

以下是使用 acecalisto3/PhiCo-D-Instruck 模型的示例代码：

from transformers import T5ForConditionalGeneration, T5Tokenizer

model = T5ForConditionalGeneration.from_pretrained("acecalisto3/PhiCo-D-Instruck")
tokenizer = T5Tokenizer.from_pretrained("acecalisto3/PhiCo-D-Instruck")

context = "Your context goes here."
instructions = "Your instructions go here."

inputs = tokenizer.encode(f"{context} {instructions}", return_tensors="pt")
outputs = model.generate(inputs, max_length=50, num_beams=5, early_stopping=True)

response = tokenizer.decode(outputs[0])
print(response)

✨ 主要特性

• 指令跟随：能够根据给定的上下文和指令生成相应的回复。
• 可微调性：可以针对代码生成、对话系统等下游任务进行微调。

📚 详细文档

模型详情

模型描述

acecalisto3/PhiCo-D-Instruck 是 t5-base 模型的微调版本，专为 InstrucText 的指令跟随任务而设计。它是一个具有 12 层、768 个隐藏单元和 12 个注意力头的序列到序列（seq2seq）模型。

模型来源

• 仓库：PhiCo-D-Instruck
• 论文：PhiCo-D: A Comprehensive Dataset for Instruction Following and Code Generation
• 演示：待补充更多信息

使用场景

直接使用

acecalisto3/PhiCo-D-Instruck 模型可用于指令跟随任务，根据给定的上下文和指令生成回复。

下游使用

该模型可针对代码生成、对话系统等下游任务进行微调，适用于需要理解和生成自然语言文本的应用场景。

不适用场景

acecalisto3/PhiCo-D-Instruck 模型不适用于需要理解给定指令之外的上下文的任务，例如通用世界知识或特定领域知识。

偏差、风险和局限性

数据偏差

模型可能存在从训练数据继承而来的偏差。尽管 PhiCo-D 数据集规模较大，但可能无法涵盖所有可能的场景和上下文。

局限性

模型的回复基于给定的上下文和指令。如果上下文或指令不清晰、模糊或不完整，模型的表现可能不佳。

建议

用户（包括直接使用和下游使用）应了解模型的风险、偏差和局限性。

训练详情

训练数据

PhiCo-D 数据集卡片

训练过程

• 预处理：使用 T5 分词器对数据进行分词。
• 训练超参数：训练模式为 fp16。
• 速度、大小和时间：
  • 训练轮数：5
  • 总训练时间：2 天
  • 每批平均时间：1.5 秒

评估

测试数据、因素和指标

• 测试数据：PhiCo-D 测试数据
• 因素：上下文和指令的多样性
• 指标：
  • BLEU-4
  • ROUGE-L
  • METEOR

结果

模型检查

PhiCo-D 模型可解释性

环境影响

可以使用 Lacoste 等人（2019） 提出的 机器学习影响计算器 来估算碳排放。

• 硬件类型：NVIDIA V100
• 使用时长：48 小时
• 云服务提供商：Google Cloud
• 计算区域：us-central1
• 碳排放：3200 克 CO2eq

技术规格

模型架构和目标

acecalisto3/PhiCo-D-Instruck 模型基于 T5-base 模型架构，目标是实现序列到序列的转换。

计算基础设施

• 硬件：NVIDIA V100，16 GB GPU 内存
• 软件：PyTorch 1.11，Transformers 4.20，CUDA 11.3

引用

BibTeX

@misc{PhiCo-D,
    author = {AceCalisto3},
    title = {PhiCo-D-Instruck: A Fine-Tuned T5 Model for Instruction Following},
    howpublished = {\url{https://huggingface.co/acecalisto3/PhiCo-D-Instruck}},
    year = {2023},
    note = {[License: Apache-2.0]},
}

APA

AceCalisto3. (2023). PhiCo-D-Instruck: A Fine-Tuned T5 Model for Instruction Following. Retrieved from https://huggingface.co/acecalisto3/PhiCo-D-Instruck

术语表

• seq2seq：序列到序列模型用于将一个序列转换为另一个序列。

更多信息

如需更多信息，请访问 PhiCo-D Github 仓库。

模型卡片作者

AceCalisto3

模型卡片联系方式

如有问题或疑虑，请通过 Hugging Face 个人资料联系 AceCalisto3。