Vicuna 13b 1.1

🚀 Vicuna模型卡片

Vicuna是一個基於Transformer架構的開源聊天機器人，通過在從ShareGPT收集的用戶共享對話上微調LLaMA進行訓練。它主要用於大語言模型和聊天機器人的研究，為自然語言處理、機器學習和人工智能領域的研究者和愛好者提供了有價值的工具。

🚀 快速開始

本README文檔提供了Vicuna模型的詳細信息，包括模型細節、預期用途、訓練數據集、評估數據集以及權重的主要更新等內容。若你對模型有疑問或建議，可通過 此處 反饋。

✨ 主要特性

• 開源可用：Vicuna是開源的，方便研究者和愛好者使用和研究。
• 基於Transformer架構：採用先進的Transformer架構，具備強大的語言處理能力。
• 基於用戶共享對話訓練：使用從ShareGPT收集的70K對話進行訓練，使模型更貼合實際對話場景。

📦 安裝指南

文檔未提供具體安裝步驟，暫不展示。

💻 使用示例

文檔未提供代碼示例，暫不展示。

📚 詳細文檔

模型細節

預期用途

• 主要預期用途：Vicuna的主要用途是進行大語言模型和聊天機器人的研究。
• 主要預期用戶：該模型的主要預期用戶是自然語言處理、機器學習和人工智能領域的研究者和愛好者。

訓練數據集

從ShareGPT.com收集的70K對話。

評估數據集

通過創建一組80個不同的問題並利用GPT - 4來評判模型輸出來對模型質量進行初步評估。更多詳情見 https://vicuna.lmsys.org/。

權重v1.1的主要更新

• 重構分詞和分隔符：在Vicuna v1.1中，分隔符從"###"更改為EOS令牌"</s>"。這一更改使確定生成停止標準更加容易，並能更好地與其他庫兼容。
• 修復監督微調損失計算：為了提高模型質量，修復了監督微調損失的計算。

🔧 技術細節

文檔未提供具體技術實現細節，暫不展示。

📄 許可證

本模型使用Apache許可證2.0。你可以在滿足該許可證規定的條件下使用、修改和分發該模型。具體許可證內容可參考 Apache許可證2.0。