Consilience 40b J4iA6BRm
Nous Consilience 40B 是一個400億參數的生成式文本模型,通過去中心化方式從零開始預訓練,支持多種語言,旨在代表人類廣泛的創造性產出。
下載量 46
發布時間 : 5/2/2025
模型概述
這是一個僅解碼器的Transformer模型,專注於文本生成任務,融合了FineWeb和The Stack v2等大規模數據集進行預訓練。
模型特點
去中心化預訓練
模型通過互聯網以去中心化的方式從零開始預訓練,每500個訓練步驟自動更新一次。
多語言支持
支持超過30種語言,涵蓋全球主要語種和部分小眾語言。
持續訓練
採用持續訓練策略,不設置最終數據'退火'步驟,以保留模型的創造力和有趣行為。
雙重許可協議
默認採用CC0協議貢獻至公共領域,同時允許用戶選擇MIT協議(需署名且免責)。
模型能力
多語言文本生成
創造性內容生成
大規模語言理解
使用案例
內容創作
多語言文章寫作
生成各種語言的創意文章或技術文檔
創意寫作輔助
幫助作家進行故事構思和內容擴展
教育
語言學習工具
為語言學習者提供多語言示例和練習材料
精選推薦AI模型
Llama 3 Typhoon V1.5x 8b Instruct
專為泰語設計的80億參數指令模型,性能媲美GPT-3.5-turbo,優化了應用場景、檢索增強生成、受限生成和推理任務
大型語言模型
Transformers 支持多種語言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一個基於SODA數據集訓練的超小型對話模型,專為邊緣設備推理設計,體積僅為Cosmo-3B模型的2%左右。
對話系統
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基於RoBERTa架構的中文抽取式問答模型,適用於從給定文本中提取答案的任務。
問答系統 中文
R
uer
2,694
98