# 英語テキスト生成

GemmaはGoogleが提供する軽量級のオープンモデルシリーズで、Geminiと同じ技術に基づいて構築されており、テキスト生成タスクに適しています。

mlabonne/gemma-3-27b-it-abliteratedをベースにファインチューニングされた大規模言語モデルで、Unsloth高速フレームワークとHuggingfaceのTRLライブラリを使用してトレーニングされ、効率が2倍向上しました。

Unsloth無惰性最適化フレームワークとHuggingface TRLトレーニングライブラリで最適化された薄霧モデル、2倍速のトレーニング効率を実現

UnslothとHuggingface TRLライブラリで最適化されたQwen2モデル、推論速度が2倍向上

フラッシュ線形アテンションフォーマットを採用したRWKV-7モデルで、Pileデータセットでトレーニングされ、英語テキスト生成タスクをサポートします。

フラッシュ線形アテンション（flash-linear attention）形式を採用したRWKV-7モデルで、英語テキスト生成タスクをサポートします。

unsloth/Llama-3.2-11B-Vision-Instructを基に微調整されたモデルで、UnslothとHuggingfaceのTRLライブラリを使用してトレーニングされ、速度が2倍向上しました。

Dogeは動的マスクアテンションメカニズムを採用したシーケンス変換モデルで、多層パーセプトロンまたはクロスドメインエキスパート混合を使用して状態変換を行います。

これはファインチューニングされたPhi-4モデルで、UnslothとTRLライブラリを使ってトレーニング速度を2倍に向上させ、テキスト生成タスクに特化しています。

Stella_en_1.5B_v5は英語ベースのテキスト生成モデルで、パラメータ規模は15億で、文の類似度などのタスクに適しています。

Meta-Llama-3.1-8B-Instructを基にした4ビット量子化バージョンで、UnslothとHuggingface TRLライブラリを使用して訓練され、速度が2倍向上しました。

自己対戦選好最適化手法を用いて第3反復で開発された89億パラメータ言語モデル。google/gemma-2-9b-itをベースに、UltraFeedbackデータセットで微調整

GemmaはGoogleが提供する軽量級オープン大規模言語モデルシリーズで、Geminiモデルを作成したのと同じ技術に基づいて構築されており、さまざまなテキスト生成タスクに適しています。

MythoMax L2 13bはQ4_K_M量子化バージョンに基づく大規模言語モデルで、テキスト生成タスクに適しています。

Meta Llama 3 8Bパラメータ版の命令調整モデルで、対話シナリオ向けに最適化されており、優れた支援性と安全性を発揮します。

Meta LLAMA-3-8Bをベースに構築された最適化モデル。遅延なし最適化技術とHuggingface TRLライブラリを使用し、速度を2倍向上

K2は650億パラメータ規模の大規模言語モデルで、完全に透明なトレーニング手法により、Llama 2 70Bを35%の計算量優位で凌駕しています。

Mixtral-8x22B-v0.1をファインチューニングした1410億パラメータの混合エキスパートモデル(MoE)、活性化パラメータ350億、主に英語テキスト生成タスク用

RecurrentGemmaはGoogleが新しい循環アーキテクチャに基づいて開発したオープン言語モデルファミリーで、事前学習版と命令チューニング版があり、様々なテキスト生成タスクに適しています。

MicroLlamaは個人開発者keeeeenwが500ドルの予算内で事前学習した3億パラメータのLlamaモデルで、英語テキスト生成タスクに特化しています。

GemmaはGoogleが提供する軽量級オープンモデルシリーズで、Geminiと同じ技術を基に構築されており、様々なテキスト生成タスクに適しています。

これはmergekitツールを使用して複数のMistral-7Bバリアントモデルを統合したハイブリッドモデルで、テキスト生成タスクに特化しています。

Ministralは40億パラメータのGPT類似モデルで、Mistralモデルと同じアーキテクチャを採用していますが、規模が小さく、主に英語テキスト生成タスクに使用されます。

MinistralはMistralアーキテクチャに基づく小型言語モデルシリーズで、パラメータ規模は30億で、主に英語テキスト生成タスクに使用されます。

Google Gemma 7Bモデルをベースに、Zephyr SFTレシピでファインチューニングされた大規模言語モデルで、主にテキスト生成タスクに使用されます

勇敢なメイド-13Bは、より賢く命令に従うことに長けたNoromaidのバージョンで、複数の優れたモデルの特徴を融合して作成されました。

TinyLlama-1.1Bはコンパクトな大規模言語モデルで、11億のパラメータを持ち、Llama 2アーキテクチャに基づき、計算リソースとメモリが制限された環境向けに最適化されています。

TinyMistral-248MはMistral 7Bモデルを基に事前学習された小型言語モデルで、パラメータ規模は約2.48億に縮小されており、主に下流タスクのファインチューニングに使用されます。

Mistral 7Bモデルを基に2.48億パラメータまで縮小した言語モデルで、テキスト生成タスク向けに設計されており、下流タスクの微調整に適しています。

Llama2アーキテクチャに基づく事前学習済み言語モデルで、英語テキスト生成タスクに適しています

GPT-2はTransformerアーキテクチャに基づく自己監督事前学習言語モデルで、テキスト生成タスクに長けています。

これはTinyStoriesデータセットで訓練された42MパラメータのLlama 2アーキテクチャfloat32精度モデルで、シンプルなテキスト生成タスクに適しています。

Llama-2-70Bを微調整した命令追従モデルで、Dolly15kデータセットでトレーニングされ、英語テキスト生成タスクに適しています。

Pile-T5 Large は T5x ライブラリを使用し、The Pile データセットでトレーニングされたエンコーダ-デコーダモデルで、主に英語のテキストからテキストを生成するタスクに使用されます。

Llama 2はMetaによって開発された70億パラメータ規模の事前学習済みテキスト生成モデルで、オープンソースの大規模言語モデルシリーズに属します

Llama 2はMetaが開発したオープンソース大規模言語モデルシリーズで、70億から700億パラメータ規模をカバーし、英語テキスト生成タスクをサポートします。

Cerebras-GPT 2.7BはTransformerアーキテクチャに基づく言語モデルで、大規模言語モデルの研究を支援することを目的としており、自然言語処理などの分野の基礎モデルとして利用できます。

Cerebras-GPT 590MはTransformerアーキテクチャに基づく言語モデルで、Cerebras-GPTモデルファミリーに属し、大規模言語モデルの拡張規則を研究し、Cerebrasのソフトウェアとハードウェアスタックで大規模言語モデルをトレーニングする際の簡便性と拡張性を示すことを目的としています。

Cerebras-GPTシリーズの111Mパラメータモデルで、GPT-3スタイルのアーキテクチャを採用し、The Pileデータセットでトレーニングされ、Chinchillaスケーリング則に従って計算最適化を実現しています。

Pythia-1BはEleutherAIが開発した解釈可能性研究専用の言語モデルで、Pythiaスイートの10億パラメータ規模バージョンであり、The Pileデータセットでトレーニングされています。