# 英語言語モデル

Marin 8Bはオープンソースの8Bパラメータ規模の大規模言語モデルで、Llamaアーキテクチャに基づいて開発され、英語テキスト生成タスクをサポートします。

OLMo 2 1Bはアレン人工知能研究所が公開したオープン言語モデルシリーズの中で最小のモデルで、OLMo-mix-1124で事前学習され、中間トレーニング段階でDolmino-mix-1124データセットが使用されました。

Falcon-E-1B-Instructは、1.58ビットアーキテクチャに基づく効率的な言語モデルで、エッジデバイス向けに最適化されており、低メモリ使用量と高性能を特徴としています。

Falcon-EはTIIが開発した1.58ビット量子化言語モデルで、純粋なTransformerアーキテクチャを採用し、効率的な推論のために設計されています

OLMo 2 32Bはアレン人工知能研究所(AI2)が公開したオープン言語モデルシリーズで最大規模の32Bパラメータモデルで、Apache 2.0ライセンスでオープンソース化されており、英語言語処理をサポートしています。

m-a-p/YuE-s1-7B-anneal-en-cotモデルを基にExllamav2で量子化したバージョンで、テキスト生成タスクに適しており、特に音楽関連分野で良好な性能を発揮します。

Ataraxyシリーズで最も包括的なオールラウンダーで、主にクリエイティブライティング能力を向上させ、汎用シナリオでも優れたパフォーマンスを発揮します

Llama 2 7Bを微調整したReLU活性化スパース大規模言語モデル、動的パラメータ選択により計算効率を向上

OpenAIが発表したTransformerベースの言語モデルで、大規模コーパスによる事前学習を経ており、強力なテキスト生成能力を備えています

TinyLlamaは1.1BパラメータのLlamaモデルで、3兆トークンの事前学習を計画しており、最適化により16台のA100-40G GPUで90日以内に学習を完了できます。

BTLM-3B-8k-baseは8kコンテキスト長を持つ30億パラメータの言語モデルで、6270億トークンのSlimPajamaデータセットでトレーニングされ、オープンソースの70億パラメータモデルに匹敵する性能を発揮します。

GPT-2はTransformerアーキテクチャに基づく自己回帰型言語モデルで、自己教師付き学習により大規模な英語コーパスで事前学習され、テキスト生成タスクに長けています。

1Mトークンの小規模データで事前学習されたRoBERTaモデルで、MED-SMALLアーキテクチャを採用し、テキスト理解タスクに適しています。

DistilBERTベースの軽量テキスト分類モデルで、GLUEのCoLAタスクでファインチューニングされ、文の文法正しさを判断

英語コーパスに基づいて事前学習されたTransformerモデルで、ELECTRAに類似した目的関数を採用し、自己教師付き方式で英語の内在的な表現を学習します。

Transformer-XLは相対位置エンコーディングを採用した因果的Transformerアーキテクチャで、以前に計算された隠れ状態を再利用することで、より長いコンテキストを捉えることができ、テキスト生成タスクに適しています。

GPT-Neo 2.7BはEleutherAIがGPT - 3アーキテクチャを再現した27億パラメータのTransformer言語モデルで、Pileデータセットで訓練されました。