Tinyllama 1.1B Intermediate Step 715k 1.5T
TinyLlama是一個11億參數的Llama模型,在3萬億標記上預訓練,適用於計算和內存有限的場景。
Downloads 4,835
Release Time : 11/4/2023
Model Overview
TinyLlama項目旨在預訓練一個11億參數的Llama模型,適用於多種計算和內存要求有限的應用場景。
Model Features
緊湊模型
僅包含11億參數,適用於計算和內存要求有限的多種應用場景。
兼容性
架構和分詞器與Llama 2完全相同,可以在許多基於Llama構建的開源項目中即插即用。
高效訓練
使用16塊A100-40G GPU,在90天內完成3萬億標記的預訓練。
Model Capabilities
文本生成
語言理解
Use Cases
自然語言處理
文本生成
生成連貫的文本內容
生成的文本具有較高的連貫性和邏輯性
Featured Recommended AI Models
Llama 3 Typhoon V1.5x 8b Instruct
專為泰語設計的80億參數指令模型,性能媲美GPT-3.5-turbo,優化了應用場景、檢索增強生成、受限生成和推理任務
大型語言模型
Transformers Supports Multiple Languages

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一個基於SODA數據集訓練的超小型對話模型,專為邊緣設備推理設計,體積僅為Cosmo-3B模型的2%左右。
對話系統
Transformers English

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基於RoBERTa架構的中文抽取式問答模型,適用於從給定文本中提取答案的任務。
問答系統 Chinese
R
uer
2,694
98