# 長シーケンス処理

高品質のコード理解と意味検索のために設計された最新の事前学習モデルで、8種類のプログラミング言語の長シーケンス処理をサポートします。

これはmistralai/Devstral-Small-2505モデルに基づく4ビットGPTQ量子化バージョンで、消費者向けハードウェア用に最適化されています。

PubMedデータセットを基に訓練された文変換器モデルで、複数の埋め込み次元をサポートし、生物医学テキスト処理に適しています。

Ruri v3はModernBERT-Jaを基に構築された日本語汎用テキスト埋め込みモデルで、最大8192トークンのシーケンス処理をサポートし、日本語テキスト埋め込みタスクでトップクラスの性能を発揮します。

Sapnous-6Bは先進的な視覚言語モデルで、強力なマルチモーダル能力により世界の知覚と理解を向上させます。

FANformer-1Bは革新的な周期的メカニズムにより言語モデリング能力を強化した自己回帰型モデルで、11億の非埋め込みパラメータを持ち、1兆トークンのトレーニングデータ量を達成しました。

CodeModernBERT-Owlは、コード検索とコード理解タスクのために特別に設計された、ゼロから事前学習されたモデルで、複数のプログラミング言語をサポートし、検索精度を向上させます。

Mistral-SUPRAは、Mistral-7Bを初期化した線形RNNモデルで、Transformerと循環モデルの機能を兼ね備えています。

Saul-Instruct-v1-GGUF は Equall/Saul-Instruct-v1 モデルの GGUF フォーマット版で、テキスト生成タスクに適しており、複数の量子化レベルをサポートしています。

Mambaは状態空間モデル(SSM)に基づく効率的な言語モデルで、線形時間計算量のシーケンスモデリング能力を持っています。

Mambaは、transformersと互換性のある高効率シーケンスモデルで、7.9億のパラメータを持ち、因果言語モデリングタスクに適しています。

Mistral-7Bベースのテキストランキングモデルで、複数の量子化バージョンを提供し、効率的な推論に適しています。

Mixtral-8x7B-v0.1のGGUF量子化バージョンで、複数のビット量子化をサポートし、テキスト生成タスクに適しています。

これはMistral-7B-Instruct-v0.1を微調整したドイツ語/英語のバイリンガルモデルで、GGUF形式で量子化されており、2-8ビットの複数の量子化レベルをサポートしています。

SauerkrautLM Mixtral 8X7Bは、Mixtralアーキテクチャに基づく多言語テキスト生成モデルで、SFTとDPOによる微調整とアライメントが行われ、英語、ドイツ語、フランス語、イタリア語、スペイン語をサポートしています。

Mythalion Kimiko v2 - AWQは、nRuaifによって作成されたMythalion Kimiko v2モデルのAWQ量子化バージョンで、高効率、高精度、高速推論などの特徴を持っています。

Mixtral-8x7Bは事前学習済みの生成型スパース混合エキスパート大規模言語モデルで、ほとんどのベンチマークテストでLlama 2 70Bを上回る性能を示しています。

Llava v1.5 13BはHaotian Liuによって開発されたマルチモーダルモデルで、視覚と言語の能力を組み合わせ、画像とテキストに基づくコンテンツを理解し生成できます。

Mistral 7B Instruct v0.1のGPTQ量子化バージョンで、ExLlamaまたはTransformersフレームワークでの実行をサポートします。

CodeFuse-13BはGPT-NeoXフレームワークでトレーニングされた130億パラメータのコード生成モデルで、40以上のプログラミング言語をサポートし、最大4096文字のコードシーケンスを処理できます。

CodeLlama 34B インストラクト版はMetaが発表した340億パラメータのコード生成モデルで、Llama 2アーキテクチャに基づき、プログラミングタスク向けに特別にファインチューニングされています。

LongT5はTransformerベースのテキスト対テキストモデルで、長シーケンス入力を処理するために特別に設計されており、最大16384トークンまでサポートします。

長T5はT5を拡張したテキスト対テキストTransformerモデルで、長シーケンス入力を効率的に処理でき、特にテキスト生成タスクに適しています。

BERTに基づくマスク言語モデリングタスクで事前学習され、UTF - 8バイト入力をサポートするマルチモーダルTransformerモデル

中国語の理解と生成に向けた事前学習済み非平衡Transformerモデルで、様々な自然言語処理タスクをサポート

Funnel Transformerは自己教師付き学習に基づく英語テキストの事前学習モデルで、ELECTRAに似た目標タスクを採用し、シーケンスの冗長性をフィルタリングすることで効率的な言語処理を実現します。

文字レベルに基づき、enwik8データセットで訓練されたReformer言語モデルで、テキスト生成と圧縮タスクに使用されます。

中国語の理解と生成タスクに向けた非対称事前学習Transformerモデル