Chinese Llama 2 7b 16k
Chinese-LLaMA-2-7B-16K是基於Meta發佈的Llama-2開發的中文大模型,支持16K上下文長度,適用於推理和全參數訓練。
下載量 57
發布時間 : 8/25/2023
模型概述
這是一個完整的中文LLaMA-2-7B-16K模型,可直接加載用於推理和全參數訓練。模型在原有Llama-2的基礎上擴充並優化了中文詞表,使用了大規模中文數據進行增量預訓練,提升了中文基礎語義理解能力。
模型特點
長上下文支持
支持16K上下文長度,通過NTK方法可擴展至18K+
中文優化
擴充並優化了中文詞表,使用大規模中文數據進行增量預訓練
多用途
可直接用於推理和全參數訓練
兼容性強
支持LLaMA生態系統的多種工具,如transformers、llama.cpp等
模型能力
文本生成
語義理解
長文本處理
指令跟隨
使用案例
自然語言處理
中文文本生成
生成高質量的中文文本內容
生成流暢、符合語義的中文文本
長文檔處理
處理和分析長文檔內容
有效理解和處理長達16K的文本內容
教育
智能問答
構建教育領域的智能問答系統
提供準確、相關的知識解答
精選推薦AI模型
Llama 3 Typhoon V1.5x 8b Instruct
專為泰語設計的80億參數指令模型,性能媲美GPT-3.5-turbo,優化了應用場景、檢索增強生成、受限生成和推理任務
大型語言模型
Transformers 支持多種語言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一個基於SODA數據集訓練的超小型對話模型,專為邊緣設備推理設計,體積僅為Cosmo-3B模型的2%左右。
對話系統
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基於RoBERTa架構的中文抽取式問答模型,適用於從給定文本中提取答案的任務。
問答系統 中文
R
uer
2,694
98