# 自迴歸模型

XGLM-564M 是一個多語言自迴歸語言模型，包含5.64億參數，基於30種語言的平衡語料庫訓練，總計5000億子詞。

Liquid 是一種自迴歸生成範式，通過將圖像標記化為離散代碼並在共享特徵空間中學習這些代碼嵌入與文本標記，實現了視覺理解與生成的無縫融合。

Lumina-mGPT是一個多模態自迴歸模型家族，擅長執行多種視覺與語言任務，特別是根據文本描述生成靈活逼真的圖像。

Lumina-mGPT 是一個多模態自迴歸模型家族，擅長根據文本描述生成靈活逼真的圖像，並能執行多種視覺和語言任務。

Lumina-mGPT 是一個多模態自迴歸模型家族，擅長根據文本描述生成靈活逼真的圖像，並能執行多種視覺與語言任務。

Lumina-mGPT 是一個多模態自迴歸模型系列，擅長根據文本描述生成靈活逼真的圖像。

Code Llama是Meta發佈的代碼生成與理解模型系列，包含7B至34B參數的預訓練與微調版本。本模型為7B參數的指令微調版，專為代碼助手場景優化。

Code Llama是Meta推出的70億到340億參數規模的代碼生成與理解模型系列，本版本為7B基礎模型

Code Llama是Meta推出的70億參數Python專用代碼生成模型，基於Llama 2架構優化，專注於Python代碼合成與理解任務

基於Perceiver AR架構的符號音頻模型，在GiantMIDI-Piano數據集上預訓練，用於符號音頻生成

CodeGen2 是一系列用於程序合成的自迴歸語言模型，具備填充能力並支持多種編程語言。

CodeGen-HTML 350M是基於CodeGen-Multi 350M微調的自迴歸語言模型，專門用於HTML代碼生成。

CodeGen是一系列用於程序合成的自迴歸語言模型，基於Python編程語言數據集預訓練。

基於EleutherAI的GPT-Neo 1.3B模型微調而成的版本，專注於冒險類文本生成。

XGLM-1.7B是一個多語言自迴歸語言模型，擁有17億參數，基於5000億子詞標記的多樣化語言平衡語料庫訓練而成。

XGLM-4.5B 是一個多語言自迴歸語言模型，擁有45億參數，基於134種語言的平衡語料庫訓練而成。

XGLM-2.9B是一個多語言自迴歸語言模型，擁有29億參數，基於5000億子詞的多樣化語言平衡語料庫訓練而成。

GPT-Neo 125M是基於GPT-3架構的Transformer模型，由EleutherAI開發，參數量為1.25億，主要用於英語文本生成任務。

GPT-J 6B是基於Mesh Transformer JAX框架訓練的60億參數自迴歸語言模型，採用與GPT-2/3相同的分詞器。