🚀 acecalisto3/PhiCo-D-Instruck模型
acecalisto3/PhiCo-D-Instruck
是一个基于 🤗 Transformers 库的模型,可在 Hugging Face 模型中心获取。该模型主要用于指令跟随任务,能够根据给定的上下文和指令生成相应的回复。
🚀 快速开始
以下是使用 acecalisto3/PhiCo-D-Instruck
模型的示例代码:
from transformers import T5ForConditionalGeneration, T5Tokenizer
model = T5ForConditionalGeneration.from_pretrained("acecalisto3/PhiCo-D-Instruck")
tokenizer = T5Tokenizer.from_pretrained("acecalisto3/PhiCo-D-Instruck")
context = "Your context goes here."
instructions = "Your instructions go here."
inputs = tokenizer.encode(f"{context} {instructions}", return_tensors="pt")
outputs = model.generate(inputs, max_length=50, num_beams=5, early_stopping=True)
response = tokenizer.decode(outputs[0])
print(response)
✨ 主要特性
- 指令跟随:能够根据给定的上下文和指令生成相应的回复。
- 可微调性:可以针对代码生成、对话系统等下游任务进行微调。
📚 详细文档
模型详情
模型描述
acecalisto3/PhiCo-D-Instruck
是 t5-base
模型的微调版本,专为 InstrucText 的指令跟随任务而设计。它是一个具有 12 层、768 个隐藏单元和 12 个注意力头的序列到序列(seq2seq)模型。
模型来源
使用场景
直接使用
acecalisto3/PhiCo-D-Instruck
模型可用于指令跟随任务,根据给定的上下文和指令生成回复。
下游使用
该模型可针对代码生成、对话系统等下游任务进行微调,适用于需要理解和生成自然语言文本的应用场景。
不适用场景
acecalisto3/PhiCo-D-Instruck
模型不适用于需要理解给定指令之外的上下文的任务,例如通用世界知识或特定领域知识。
偏差、风险和局限性
数据偏差
模型可能存在从训练数据继承而来的偏差。尽管 PhiCo-D 数据集规模较大,但可能无法涵盖所有可能的场景和上下文。
局限性
模型的回复基于给定的上下文和指令。如果上下文或指令不清晰、模糊或不完整,模型的表现可能不佳。
建议
用户(包括直接使用和下游使用)应了解模型的风险、偏差和局限性。
训练详情
训练数据
PhiCo-D 数据集卡片
训练过程
- 预处理:使用 T5 分词器对数据进行分词。
- 训练超参数:训练模式为 fp16。
- 速度、大小和时间:
- 训练轮数:5
- 总训练时间:2 天
- 每批平均时间:1.5 秒
评估
测试数据、因素和指标
结果
指标 |
得分 |
BLEU-4 |
0.41 |
ROUGE-L |
0.52 |
METEOR |
0.45 |
模型检查
PhiCo-D 模型可解释性
环境影响
可以使用 Lacoste 等人(2019) 提出的 机器学习影响计算器 来估算碳排放。
- 硬件类型:NVIDIA V100
- 使用时长:48 小时
- 云服务提供商:Google Cloud
- 计算区域:us-central1
- 碳排放:3200 克 CO2eq
技术规格
模型架构和目标
acecalisto3/PhiCo-D-Instruck
模型基于 T5-base 模型架构,目标是实现序列到序列的转换。
计算基础设施
- 硬件:NVIDIA V100,16 GB GPU 内存
- 软件:PyTorch 1.11,Transformers 4.20,CUDA 11.3
引用
BibTeX
@misc{PhiCo-D,
author = {AceCalisto3},
title = {PhiCo-D-Instruck: A Fine-Tuned T5 Model for Instruction Following},
howpublished = {\url{https://huggingface.co/acecalisto3/PhiCo-D-Instruck}},
year = {2023},
note = {[License: Apache-2.0]},
}
APA
AceCalisto3. (2023). PhiCo-D-Instruck: A Fine-Tuned T5 Model for Instruction Following. Retrieved from https://huggingface.co/acecalisto3/PhiCo-D-Instruck
术语表
- seq2seq:序列到序列模型用于将一个序列转换为另一个序列。
更多信息
如需更多信息,请访问 PhiCo-D Github 仓库。
模型卡片作者
AceCalisto3
模型卡片联系方式
如有问题或疑虑,请通过 Hugging Face 个人资料联系 AceCalisto3。