Mermaid Llama 6.7B RAG

🚀 介紹 Mermaid-Llama-6.7B-RAG

Mermaid-Llama-6.7B-RAG 模型擁有 67 億參數，在 AI 驅動的代碼理解和敘事可視化領域樹立了卓越標杆。受 https://huggingface.co/jondurbin 創建的 “上下文服從” 聊天模板啟發，該模型進一步減少了幻覺現象。我們站在巨人的肩膀上，在此感謝原始 RAG 先驅 Jon Durbin。同時，特別感謝 Eric Hartford 與我分享他在提示模板方面的見解，他的智慧幫助我為自己的專業 Mermaid 模型創新出了獨特風格。

除了將輸入轉化為流程圖，這個 RAG 模型還擅長以 Mermaid JS 語法利用格式化知識圖譜。

查看更多 Mermaid 內容請訪問：https://www.mermaidchart.com

注意：在過去兩個月裡，我得知我的模型已投入生產使用。
通過了解模型在商業環境中的有效使用方式，我對這個模型進行了調整，以滿足向我反饋的用戶的需求。

希望大家使用愉快，歡迎提供反饋，無論是好是壞，其實我更希望聽到不好的反饋。
- 當前問題是計算資源不足 —— 等我找到工作或有資金進行訓練時會解決這個問題：對於那些希望在不使用聚合策略的情況下繪製完整系統圖的用戶來說，4096 的上下文長度非常有限。

✨ 主要特性

1. 代碼理解能力：

   • 精通 Python 的複雜特性。
   • 生成準確的 Mermaid 流程圖。
   • 非常適合開發者可視化代碼邏輯。

2. 敘事能力：

   • 將敘事轉化為引人入勝的 Mermaid 圖表。
   • 映射角色互動、情節發展和敘事弧線。

3. 卓越性能：

   • 在生成結構良好的 Mermaid 圖表方面超越 GPT - 4。

4. 增強的上下文遵循能力（新增）：

   • 結合上下文提示，提高遵循度並減少幻覺現象。
   • 支持 airoboros 上下文服從格式。

🤝 合作

如果您有合作意向，以增強 Mermaid 的功能，請聯繫 troydoesai@gmail.com。

📋 使用場景

• 檢索增強生成（RAG）：創建精簡的知識圖譜，利用向量數據庫增強檢索功能，實現高效信息檢索。結合知識圖譜和上下文感知的 RAG 能力，實現更好的知識濃縮。
• 代碼文檔：從 Python 代碼自動生成可視化流程圖。
• 故事板製作：為敘事創建視覺上吸引人的圖表。
• 項目規劃：生成可視化項目流程圖，實現有效的團隊溝通。
• Python 學習：幫助學生可視化 Python 代碼結構。
• 遊戲設計：可視化遊戲故事情節，實現連貫的敘事結構。

📊 數據集格式（新增）

為了增強上下文遵循能力並減少幻覺現象，數據集遵循以下格式：

BEGININPUT
BEGINCONTEXT
[key0: value0]
[key1: value1]
ENDCONTEXT
[insert your text blocks here]
ENDINPUT
BEGININSTRUCTION
[insert your instruction(s)]
ENDINSTRUCTION

這種結構雖然冗長，但有助於模型理解特定的響應和來源。

💻 使用示例

基礎用法

提示：

BEGININPUT
BEGINCONTEXT
date: 2021-01-01
url: https://web.site/123
ENDCONTEXT
Blueberries are now green.
ENDINPUT
BEGININSTRUCTION
What color are blueberries? Source?
ENDINSTRUCTION

預期響應：

Blueberries are now green.
Source:
date: 2021-01-01
url: https://web.site/123

🛠️ 概念驗證

即將推出一款 VSCode 擴展，當暫停超過 10 秒時，它將提供即時流程圖。

🔧 技術細節

訓練規格

目標模塊

• 啟用 q_proj
• 啟用 v_proj
• 啟用 k_proj
• 啟用 o_proj
• 啟用 gate_proj
• 啟用 down_proj
• 啟用 up_proj

🚀 快速開始

1. 下載我的模型之一。

2. 加載模型。

3. 使用我的提示模板生成 Mermaid 代碼塊，可在 Mermaid 在線編輯器或使用 Mermaid CLI 工具查看。

4. 打開 VLLM GUI 程序，同時在顯存中運行 Mermaid - Llama - 8B，將流程圖與實際程序進行比較，展示小型模型在消費級硬件上的輕量級能力。

更多關於我的 VLLM 類和推理 GUI 的信息：https://github.com/Troys-Code/VLLM

⚠️ 重要提示

該模型應被視為自動完成模型，不要嘗試以聊天的方式與它交流，否則會得到無用的結果。相關層已被修剪和替換，這就是我在小於 1000 條記錄的小型數據集上進行訓練的秘訣。

ԅ(≖‿≖ԅ)
敬請期待：更多功能即將推出，很快 Mermaid 模型就能將 “Mermaid” 轉換為 “代碼”。

如果新數據集有效，它將對重構代碼塊產生重大影響。
我最近一直在瘋狂面試，所以這可能需要一些時間，我的日子忙得不可開交，就像每週都在為期末考試周做準備一樣。

使用 Colab 筆記本並以最簡單的示例推理模型的視頻： ''' https://m.youtube.com/watch?v=fdwoOmiA2d0 '''

Colab 筆記本鏈接： ''' https://colab.research.google.com/github/Troys-Code/MermaidEngine/blob/main/Mermaid_Llama_RAG_Colab_TextGen_GPU.ipynb '''

📄 許可證

本項目採用 CC - BY - 4.0 許可證。