L

Llama3 ChatQA 2 8B

由nvidia開發
基於Llama-3基礎模型開發的128K長上下文大語言模型,專注於提升RAG和長文本理解能力
下載量 437
發布時間 : 8/28/2024

模型概述

填補開源大語言模型與專有模型在長上下文理解和檢索增強生成(RAG)能力之間的差距,支持128K tokens超長上下文處理

模型特點

128K超長上下文
通過三階段微調流程將上下文窗口從8K擴展到128K tokens
增強RAG能力
針對檢索增強生成場景特別優化,性能接近GPT-4-Turbo級別
多階段訓練方案
採用改進版ChatQA-1.5論文訓練方案開發
雙版本選擇
提供8B和70B兩種參數規模版本滿足不同需求

模型能力

長文本理解
檢索增強生成
指令跟隨
文檔問答
多輪對話

使用案例

金融分析
財報數據分析
從長篇財務報告中提取關鍵指標和趨勢分析
可準確識別淨利潤變化等關鍵財務指標
知識問答
長文檔問答
基於超長技術文檔或研究論文回答專業問題
在32K tokens以上的長文本問答中表現優異
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase