Open Llm Search

🚀 開放大語言模型搜索

開放大語言模型搜索是專門針對網頁信息提取而定製的模型，它基於 Together AI 的 llama-2-7b-32k 模型進行優化。儘管該模型僅有 70 億參數，但經過微調後的能力和擴展的上下文限制使其在搜索任務中表現出色，有效解決了傳統大語言模型無法直接搜索互聯網的問題。

🚀 快速開始

• 親身體驗！點擊此處查看即時演示。
• 對於喜歡自己動手的用戶，可以通過我們的GitHub 倉庫探索或自行部署此解決方案。

✨ 主要特性

隨著對大語言模型的需求不斷增長，一個常見的限制逐漸顯現：它們無法直接搜索互聯網。雖然谷歌（Bard）、必應和 Perplexity 等科技巨頭正在解決這一挑戰，但它們的專有方法存在數據記錄問題。而開放大語言模型搜索能夠有效解決這一問題，從網頁中提取信息。

📚 詳細文檔

模型概述

開放大語言模型搜索是 Together AI 的 llama-2-7b-32k 模型的專門改編版本，專為從網頁中提取信息而設計。雖然該模型只有 70 億個參數，但其經過微調的能力和擴展的上下文限制使其在搜索任務中表現出色。

微調過程

該模型的微調結合了 GPT - 4 和 GPT - 4 - 32k 來生成合成數據。以下是所使用的訓練工作流程：

1. 使用 GPT - 4 生成大量查詢。
2. 對於每個查詢，從谷歌中找出排名前五的網站結果。
3. 從這些網站中提取內容，並使用 GPT - 4 - 32k 進行總結。
4. 記錄來自 GPT - 4 - 32k 的文本和總結，用於微調。
5. 將所有五個來源的總結與 GPT - 4 結合，以構建連貫的響應。
6. 記錄來自 GPT - 4 的輸入和輸出，用於微調。

微調採用 <instructions>:、<user>: 和 <assistant>: 格式進行。

📄 許可證

此模型使用 Meta 的 Llama 2 許可證。