# 英語語言模型

Marin 8B是一個開源的8B參數規模的大型語言模型，基於Llama架構開發，支持英語文本生成任務。

OLMo 2 1B是艾倫人工智能研究所推出的開放語言模型系列中最小的模型，基於OLMo-mix-1124預訓練，並在中期訓練階段使用Dolmino-mix-1124數據集。

Falcon-E-1B-Instruct 是一個基於1.58比特架構的高效語言模型，專為邊緣設備優化，具有低內存佔用和高性能的特點。

Falcon-E是由TII開發的1.58比特量化語言模型，採用純Transformer架構，專為高效推理設計

OLMo 2 32B是艾倫人工智能研究院(AI2)推出的開放語言模型系列中規模最大的32B參數模型，基於Apache 2.0許可開源，支持英語語言處理。

Ataraxy系列中最全面的全能選手，主要提升創意寫作能力，同時在通用場景下表現優異

基於Llama 2 7B微調的ReLU激活稀疏大語言模型，通過動態參數選擇提升計算效率

OpenAI發佈的基於Transformer的語言模型，通過大規模語料庫預訓練而成，具有強大的文本生成能力

BTLM-3B-8k-base是一個具有8k上下文長度的30億參數語言模型，基於6270億token的SlimPajama數據集訓練而成，性能可媲美開源70億參數模型。

基於DistilBERT的輕量級文本分類模型，在GLUE的CoLA任務上微調，用於判斷句子語法正確性

基於英語語料預訓練的Transformer模型，採用ELECTRA類似的目標函數，通過自監督方式學習英語語言的內在表示。

基於1M tokens小規模數據預訓練的RoBERTa模型，採用MED-SMALL架構，適用於文本理解任務。

Transformer-XL是一種採用相對位置編碼的因果Transformer架構，能夠通過複用先前計算的隱藏狀態來捕捉更長上下文，適用於文本生成任務。

GPT-Neo 2.7B是EleutherAI基於GPT-3架構復現的27億參數Transformer語言模型，在Pile數據集上訓練完成