# 因果語言模型

ProGen2-xlarge是基於Nijkamp等人提出的基礎模型，經過配置和前向傳播修改的蛋白質生成模型。

ProGen2-base是基於Nijkamp等人研究的蛋白質生成模型，支持蛋白質序列的生成和預測。

由MoAData公司開發的醫療領域大語言模型，使用DPO方法在自制的醫療數據集上訓練。

ProGen2-small是基於Nijkamp等人研究的蛋白質生成模型，經過輕微調整配置和前向傳播流程的鏡像版本。

Mamba 是一個與 transformers 兼容的高效序列模型，具有 7.9 億參數，適用於因果語言建模任務。

vortex-3b是由OEvortex開發的27.8億參數因果語言模型，基於Pythia-2.8b模型並在Vortex-50k數據集上微調。

OpenCALM是由CyberAgent公司開發的基於日語數據集預訓練的僅解碼器語言模型系列中的3B參數版本。

Pythia-1B是EleutherAI開發的可解釋性研究專用語言模型，屬於Pythia套件中的10億參數規模版本，基於The Pile數據集訓練。

Pythia-6.9B是EleutherAI開發的大規模語言模型，屬於Pythia可擴展套件的一部分，專為促進可解釋性研究而設計。

Pythia是EleutherAI開發的一系列因果語言模型，專為可解釋性研究設計，包含從7000萬到120億參數的8種規模，提供154個訓練檢查點

Pythia-28億是EleutherAI開發的可擴展語言模型套件中的一員，專為促進大語言模型的可解釋性研究而設計。該模型基於Transformer架構，在The Pile數據集上訓練，具有28億參數。

Pythia-1.4B是EleutherAI開發的12億參數因果語言模型，屬於Pythia規模套件的一部分，專為可解釋性研究設計。

基於GPT-2架構的泰語因果語言模型，在OSCAR數據集上訓練

這是一個基於越南新聞數據訓練的GPT-Neo 1.3B參數規模的越南語因果語言模型

基於Skillet樂隊歌詞微調的GPT-2語言模型，用於生成類似風格的文本內容

基於聲名狼藉先生(The Notorious B.I.G.)歌詞微調的GPT-2語言模型，可生成類似風格的歌詞文本

基於Tool樂隊歌詞訓練的GPT-2語言模型，可生成風格相似的歌詞文本

GPT-Neo 1.3B是由EleutherAI開發的13億參數自迴歸語言模型，基於GPT-3架構設計，擅長文本生成任務

基於rugpt3medium_based_on_gpt2的俄語抽象摘要生成模型，專門針對Gazeta數據集進行訓練