Spyazweb AI DeepMind Project

🚀 深度思維項目

本項目基於模型開發，旨在打造具備自我學習、深度思考和多任務處理能力的智能模型。該模型在編碼、醫療等領域表現出色，還能像人類一樣進行自我反思和對話。

🚀 快速開始

本項目的模型已開發完成並上傳，你可以基於此模型開展相關研究和應用。

✨ 主要特性

• 超越ChatGPT：在不使用langchain的情況下，性能超越ChatGPT。
• 多功能添加：擁有向模型添加任何功能的方法。
• 自我學習與優化：模型能夠像孩子一樣自我學習和優化。
• 多種思維能力：具備SelfRAG、Agent Generation、Chain of thoughts、Deep thinking and memory recall等思維能力。
• 個性與友好：通過添加特定數據集，模型具有個性，能像個人助理一樣友好交流。
• 多領域適用：主要在編碼數據集和醫療信息方面進行訓練，可用於編碼、醫療診斷、心理諮詢等多個領域。

📦 安裝指南

文檔未提及具體安裝步驟，暫無法提供。

💻 使用示例

文檔未提供代碼示例，暫無法展示。

📚 詳細文檔

模型信息

• 開發者：LeroyDyer
• 許可證：apache - 2.0
• 微調基礎模型：LeroyDyer/Mixtral_AI_CyberTron_DeepMind_III

該Mistral模型使用Unsloth和Huggingface的TRL庫進行訓練，訓練速度提升了2倍。

評估結果

開放大語言模型排行榜評估結果 詳細結果可查看此處

訓練數據集

• gretelai/synthetic_text_to_sql
• HuggingFaceTB/cosmopedia
• teknium/OpenHermes - 2.5
• Open - Orca/SlimOrca
• Open - Orca/OpenOrca
• cognitivecomputations/dolphin - coder
• databricks/databricks - dolly - 15k
• yahma/alpaca - cleaned
• uonlp/CulturaX
• mwitiderrick/SwahiliPlatypus
• swahili
• Rogendo/English - Swahili - Sentence - Pairs
• ise-uiuc/Magicoder - Evol - Instruct - 110K
• meta - math/MetaMathQA
• abacusai/ARC_DPO_FewShot
• abacusai/MetaMath_DPO_FewShot
• abacusai/HellaSwag_DPO_FewShot
• HaltiaAI/Her - The - Movie - Samantha - and - Theodore - Dataset

方法學

• 功能添加：通過數據集和複雜的數據結構及提示，為模型添加如定義單詞和NLP任務等多種功能。訓練後移除這些提示，並進行標準的Alpaca訓練。
• LoRA配置：更改模型中嵌入層的LoRA配置，並在之前的訓練基礎上進行微調。通常使用因子為8的計算，但此項目選擇因子為9（9 - 18/18/36），訓練效果良好，能在一次訓練中處理多個不同數據集。
• 參數設置：使用topK為1000，topP為0.68（68%），溫度（temp）為1的參數設置，使模型在回答中具有一定的隨機性。
• RAG利用：將對話歷史作為頻繁數據進行微調，並生成多個相似查詢來查詢RAG系統以獲取問答對，更新到模型中。

🔧 技術細節

思維與處理能力

• SelfRAG：具備自我檢索增強生成能力。
• Agent Generation：能夠生成小型代理執行特定任務，如實體識別、逐步定義、編寫偽代碼、生成用例、進行計算和分析內容等。
• Chain of thoughts：擁有思維鏈能力，可逐步思考和解決問題。
• Deep thinking and memory recall：具備深度思考和記憶回憶能力，能處理複雜問題並回憶相關信息。

訓練提示版本特點

• 自我檢查：在討論複雜問題時，模型會自我檢查，嘗試與自己討論以找到結果（有時可能不成功）。
• 個性生成：通過安裝與ChatGPT的多種長對話以及來自電視劇《她》和《人工智能》的數據集，模型具有個性，能進行角色對話。
• 多領域訓練：主要在編碼數據集和醫療信息方面進行訓練，涵蓋從實驗到研究、患者/醫生交流、診斷到問題解決等多個方面，還被訓練為心理諮詢師，能處理心理問題。

📄 許可證

本項目使用apache - 2.0許可證。