# 大規模語言模型

由Preferred Networks開發的專用於翻譯任務的大規模語言模型，支持英語和日語互譯

ELYZA-Shortcut-1.0-Qwen-32B是基於Qwen2.5-32B-Instruct開發的非推理模型，能夠繞過推理步驟直接生成最終答案。

Qwen2-Audio是Qwen大音頻語言模型系列的最新版本，能夠接收多種音頻信號輸入，並根據語音指令執行音頻分析或直接生成文本響應。

OpenCodeReasoning-Nemotron-14B 是一個專為代碼生成推理而進行後訓練的大型語言模型，支持32K令牌的上下文長度。

PAGnol是一系列面向自由文本生成的大規模法語語言模型，擁有15億參數。基於GPT架構，由LightOn與Inria的ALMAnaCH團隊合作開發。

Grok-1是由xAI開發的大型語言模型，擁有3140億參數，適用於文本生成任務。

該模型是rinna/nekomata-14b-instruction的GGUF版本，可與llama.cpp配合實現輕量級推理。

FLAN-T5是基於T5改進的指令微調語言模型，在相同參數量下通過1000多項多語言任務微調實現更優性能

FLAN-T5 XL是基於T5架構的指令微調語言模型，在1000+任務上微調後，多語言和少樣本性能顯著提升。

ERNIE 3.0是一個面向中文語言理解與生成的大規模知識增強預訓練模型，由百度研究院開發。

OPT是由Meta AI開發的開源預訓練Transformer語言模型，參數規模從1.25億到1750億不等，旨在促進大規模語言模型的研究。

IndoBERT 是基於 BERT 模型的印度尼西亞語先進語言模型，通過掩碼語言建模和下一句預測目標進行訓練。

基於Transformer架構的大型中文預訓練語言模型，由海量中文文本訓練而成。

這是Artetxe等人論文《Efficient Large Scale Language Modeling with Mixtures of Experts》中原生密集67億參數模型的Hugging Face transformers適配版本。

XLM是基於英語文本訓練的掩碼語言模型，採用BERT風格的MLM目標進行預訓練，支持英語語言處理任務。

基於Artetxe等人論文《高效大規模語言建模與專家混合方法》的27億參數稠密模型轉換版本