Fastchat T5 3b V1.0

🚀 FastChat-T5模型卡片

FastChat-T5是一款開源聊天機器人模型，通過在從ShareGPT收集的用戶共享對話上微調Flan - t5 - xl（30億參數）而得。它能基於用戶輸入自動生成回覆，可用於商業和研究目的。

🚀 快速開始

若你想了解更多關於FastChat-T5模型的信息，可訪問相關資源鏈接：https://github.com/lm-sys/FastChat#FastChat-T5。若你對該模型有疑問或建議，可在這裡提交。

✨ 主要特性

• 架構先進：基於編碼器 - 解碼器的Transformer架構，能自動迴歸生成對用戶輸入的響應。
• 用途廣泛：主要用於大語言模型和聊天機器人的商業應用，也可用於研究目的。

📦 安裝指南

文檔未提供安裝步驟，故跳過該部分。

💻 使用示例

文檔未提供代碼示例，故跳過該部分。

📚 詳細文檔

模型詳情

預期用途

• 主要預期用途：FastChat-T5的主要用途是大語言模型和聊天機器人的商業應用，也可用於研究目的。
• 主要預期用戶：該模型的主要預期用戶是自然語言處理、機器學習和人工智能領域的企業家和研究人員。

訓練數據集

從ShareGPT.com收集的70K條對話。

訓練細節

它以問答形式處理ShareGPT數據。每個ChatGPT的回覆被處理為答案，用戶與ChatGPT之前的對話被處理為問題。編碼器將問題雙向編碼為隱藏表示。解碼器在從起始標記單向生成答案時，使用交叉注意力來關注此表示。該模型進行了3個週期的微調，最大學習率為2e - 5，熱身比例為0.03，並採用餘弦學習率調度。

評估數據集

通過創建一組80個不同的問題並利用GPT - 4來評判模型輸出來對模型質量進行初步評估。更多詳情見https://vicuna.lmsys.org/。

🔧 技術細節

FastChat-T5處理ShareGPT數據時採用問答形式，編碼器雙向編碼問題，解碼器單向生成答案。模型微調3個週期，設置了特定的學習率和調度策略。

📄 許可證

本模型採用Apache License 2.0許可。