Wikichat V2

🚀 WikiChat-v0.2

WikiChat-v0.2 是一個正在訓練中的模型，用於實現對話功能。當前上傳的 GGUF 文件為全 FP32 精度。該模型使用了 OpenOrca GPT - 4 數據、cosmopedia 額外數據以及 dolly15k 指令數據進行訓練。

🚀 快速開始

本模型尚未訓練完成，當前主要用於測試 OpenOrca 的分詞功能，以及平衡訓練速度和模型大小。

✨ 主要特性

• 數據多元：結合了 OpenOrca GPT - 4 數據、cosmopedia 額外數據和 dolly15k 指令數據，使模型具備更豐富的知識和更好的指令理解能力。
• 參數詳細：擁有 83.59M 參數（83591800），8 個注意力頭，40 層，384 嵌入大小，支持 4096/8192/16384 上下文（建議使用 2/4x RoPE 縮放，後續可能訓練 16k 微調版本）。
• 指令優化：採用 Alpaca 提示格式，結構化的提示能讓模型發揮最佳性能。

📦 安裝指南

文檔未提供具體安裝步驟，暫不展示。

💻 使用示例

基礎用法

請按照以下 Alpaca 提示格式構造提示，以獲得最佳性能：

Instruction: {system}
Input: {prompt}
Response: {response}

示例輸出

User: What is the square root of 4?

Assistant: The square root of 4 is 2.

📚 詳細文檔

模型詳情

訓練詳情

• 硬件配置：1 塊 RTX 3070 8GB 顯卡（推理速度：80 令牌/秒，全 GPU 卸載），1 顆 Ryzen 3 3700x 處理器，96GB 內存。
• 訓練參數：10 次迭代，損失目標為 2.5 到 3.0，約 480 個樣本/100 萬個訓練令牌（>0.0001 個 epoch）。
• 訓練數據：參考 OpenOrca 頁面。

🔧 技術細節

文檔未提供具體技術實現細節，暫不展示。

📄 許可證

本項目採用 Apache - 2.0 許可證。