Mixtral 8x7B Instruct V0.1 Offloading Demo
模型概述
Mixtral 是一個高效的文本生成模型,採用混合專家架構,支持多種語言,適用於文本生成和推理任務。
模型特點
多語言支持
支持英語、法語、意大利語、德語和西班牙語等多種語言的文本生成。
高效量化
採用HQQ 4位和2位量化技術,顯著減少模型大小和推理時間。
混合專家架構
採用混合專家(MoE)架構,提升模型性能和效率。
模型能力
文本生成
多語言支持
高效推理
使用案例
文本生成
多語言內容創作
生成多種語言的文本內容,如文章、故事等。
高質量的多語言文本輸出。
聊天機器人
構建支持多語言的聊天機器人。
流暢的多語言對話體驗。
精選推薦AI模型
Llama 3 Typhoon V1.5x 8b Instruct
專為泰語設計的80億參數指令模型,性能媲美GPT-3.5-turbo,優化了應用場景、檢索增強生成、受限生成和推理任務
大型語言模型
Transformers 支持多種語言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一個基於SODA數據集訓練的超小型對話模型,專為邊緣設備推理設計,體積僅為Cosmo-3B模型的2%左右。
對話系統
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基於RoBERTa架構的中文抽取式問答模型,適用於從給定文本中提取答案的任務。
問答系統 中文
R
uer
2,694
98