Fastchat T5 3b V1.0

🚀 FastChat-T5模型卡片

FastChat-T5是一款开源聊天机器人模型，通过在从ShareGPT收集的用户共享对话上微调Flan - t5 - xl（30亿参数）而得。它能基于用户输入自动生成回复，可用于商业和研究目的。

🚀 快速开始

若你想了解更多关于FastChat-T5模型的信息，可访问相关资源链接：https://github.com/lm-sys/FastChat#FastChat-T5。若你对该模型有疑问或建议，可在这里提交。

✨ 主要特性

• 架构先进：基于编码器 - 解码器的Transformer架构，能自动回归生成对用户输入的响应。
• 用途广泛：主要用于大语言模型和聊天机器人的商业应用，也可用于研究目的。

📦 安装指南

文档未提供安装步骤，故跳过该部分。

💻 使用示例

文档未提供代码示例，故跳过该部分。

📚 详细文档

模型详情

预期用途

• 主要预期用途：FastChat-T5的主要用途是大语言模型和聊天机器人的商业应用，也可用于研究目的。
• 主要预期用户：该模型的主要预期用户是自然语言处理、机器学习和人工智能领域的企业家和研究人员。

训练数据集

从ShareGPT.com收集的70K条对话。

训练细节

它以问答形式处理ShareGPT数据。每个ChatGPT的回复被处理为答案，用户与ChatGPT之前的对话被处理为问题。编码器将问题双向编码为隐藏表示。解码器在从起始标记单向生成答案时，使用交叉注意力来关注此表示。该模型进行了3个周期的微调，最大学习率为2e - 5，热身比例为0.03，并采用余弦学习率调度。

评估数据集

通过创建一组80个不同的问题并利用GPT - 4来评判模型输出来对模型质量进行初步评估。更多详情见https://vicuna.lmsys.org/。

🔧 技术细节

FastChat-T5处理ShareGPT数据时采用问答形式，编码器双向编码问题，解码器单向生成答案。模型微调3个周期，设置了特定的学习率和调度策略。

📄 许可证

本模型采用Apache License 2.0许可。