T

Tinyllama 1.1B Intermediate Step 715k 1.5T

Developed by TinyLlama
TinyLlama是一個11億參數的Llama模型,在3萬億標記上預訓練,適用於計算和內存有限的場景。
Downloads 4,835
Release Time : 11/4/2023

Model Overview

TinyLlama項目旨在預訓練一個11億參數的Llama模型,適用於多種計算和內存要求有限的應用場景。

Model Features

緊湊模型
僅包含11億參數,適用於計算和內存要求有限的多種應用場景。
兼容性
架構和分詞器與Llama 2完全相同,可以在許多基於Llama構建的開源項目中即插即用。
高效訓練
使用16塊A100-40G GPU,在90天內完成3萬億標記的預訓練。

Model Capabilities

文本生成
語言理解

Use Cases

自然語言處理
文本生成
生成連貫的文本內容
生成的文本具有較高的連貫性和邏輯性
AIbase
Empowering the Future, Your AI Solution Knowledge Base
© 2025AIbase