Gemma 3 R1984 4B

🚀 Gemma3-R1984-4B

Gemma3-R1984-4B 是一個強大的智能代理 AI 平臺，基於 Google 的 Gemma-3-4B 模型構建。它結合了通過網絡搜索進行的前沿深度研究與多模態文件處理能力（包括圖像、視頻和文檔），並能處理長達 8000 個標記的長上下文。該平臺專為在配備 NVIDIA L40s、L4、A-100(ZeroGPU) GPU 的獨立服務器上進行本地部署而設計，提供高安全性，防止數據洩露，並能提供無審查的響應。

🚀 快速開始

安裝與設置

要求

確保你已安裝 Python 3.8 或更高版本。該模型依賴於以下幾個庫：

• PyTorch（支持 bfloat16）
• Transformers
• Gradio
• OpenCV（opencv-python）
• Pillow（PIL）
• PyPDF2
• Pandas
• Loguru
• Requests

使用 pip 安裝依賴項：

pip install torch transformers gradio opencv-python pillow PyPDF2 pandas loguru requests

環境變量

在運行模型之前，設置以下環境變量：

• SERPHOUSE_API_KEY：用於網絡搜索功能的 SERPHouse API 密鑰。 示例：

  export SERPHOUSE_API_KEY="your_api_key_here"
  

• MODEL_ID：（可選）模型標識符；默認值為 VIDraft/Gemma-3-R1984-4B。
• MAX_NUM_IMAGES：（可選）每個查詢允許的最大圖像數量（默認值為 5）。

運行模型

Gemma3-R1984-4B 附帶一個基於 Gradio 的多模態聊天界面。要在本地運行模型：

1. 克隆倉庫： 確保你擁有包含模型代碼的倉庫。
2. 啟動應用程序： 執行主 Python 文件：

python your_filename.py

這將啟動一個本地 Gradio 界面。在瀏覽器中打開提供的 URL 以與模型進行交互。

示例代碼：服務器和客戶端請求

服務器示例

你可以使用提供的 Gradio 代碼在本地部署模型服務器。確保你的服務器可以通過指定的 URL 訪問。

客戶端請求示例

以下是一個如何使用 HTTP API 調用與模型進行交互的示例：

import requests
import json

# Replace with your server URL and token
url = "http://<your-server-url>:8000/v1/chat/completions"
headers = {
    "Content-Type": "application/json",
    "Authorization": "Bearer your_token_here"
}

# Construct the message payload
messages = [
    {"role": "system", "content": "You are a powerful AI assistant."},
    {"role": "user", "content": "Compare the contents of two PDF files."}
]

data = {
    "model": "VIDraft/Gemma-3-R1984-4B",
    "messages": messages,
    "temperature": 0.15
}

# Send the POST request to the server
response = requests.post(url, headers=headers, data=json.dumps(data))

# Print the response from the model
print(response.json())

⚠️ 重要部署通知

為了獲得最佳性能，強烈建議使用以下命令克隆倉庫。此模型設計為在至少配備 NVIDIA L40s、L4、A100(ZeroGPU) GPU 的服務器上運行。最低 VRAM 要求為 24GB，在處理過程中 VRAM 使用量可能會暫時達到約 82GB 的峰值。

git clone https://huggingface.co/spaces/VIDraft/Gemma-3-R1984-4B

✨ 主要特性

多模態處理

支持多種文件類型，如圖像（PNG、JPG、JPEG、GIF、WEBP）、視頻（MP4）和文檔（PDF、CSV、TXT）。

深度研究（網絡搜索）

自動從用戶查詢中提取關鍵詞，並利用 SERPHouse API 檢索多達 20 條即時搜索結果。模型通過在響應中明確引用多個來源來整合這些信息。

長上下文處理

能夠處理多達 8000 個標記的輸入，確保對長篇文檔或對話進行全面分析。

強大的推理能力

採用擴展的思維鏈推理，以系統、準確地生成答案。

安全的本地部署

在使用 NVIDIA L40s GPU 的獨立本地服務器上運行，以最大限度地提高安全性並防止信息洩露。

體驗 Gemma3-R1984-4B 的強大功能

• ✅ 智能代理 AI 平臺：一個旨在做出智能決策並獨立行動的自主系統。
• ✅ 推理與無審查：利用先進的推理能力提供清晰、準確且無過濾的響應。
• ✅ 多模態與視覺語言模型：無縫處理和解釋多種輸入類型（文本、圖像、視頻），支持多功能應用。
• ✅ 深度研究與檢索增強生成：集成前沿的深度研究和檢索增強生成技術，提供全面的即時見解。

先進硬件保障最高安全性

Gemma3-R1984-4B 設計為在獨立的本地服務器環境中的專用 NVIDIA L40s GPU 上運行。這種強大的設置不僅保證了最佳性能和快速處理，還通過將模型與外部網絡隔離來增強安全性，有效防止信息洩露。無論是處理敏感數據還是複雜查詢，我們的平臺都能確保你的信息安全，AI 交互不受影響。

📦 使用場景

• 快速響應的對話代理
• 深度研究和檢索增強生成（RAG）
• 文檔比較和詳細分析
• 圖像和視頻的視覺問答
• 複雜推理和基於研究的查詢

📚 詳細文檔

支持的文件格式

• 圖像：PNG、JPG、JPEG、GIF、WEBP
• 視頻：MP4
• 文檔：PDF、CSV、TXT

模型詳情

📄 許可證

mit(Agentic AI) / gemma(gemma-3-4B)