# 8K長文処理

Aya Expanse 8Bは、高度に先進的な多言語能力を持つオープンウェイトの研究モデルで、高性能な事前学習モデルとCohere Labsの1年間にわたる研究の成果を組み合わせています。

Nemotron-H-56B-Base-8KはNVIDIAが開発した大規模言語モデルで、混合Mamba-Transformerアーキテクチャを採用し、8Kのコンテキスト長と多言語テキスト生成をサポートします。

NVIDIA Nemotron-H-47B-Base-8Kは、NVIDIAが開発した大規模言語モデル（LLM）で、与えられたテキストの補完を目的としています。このモデルはハイブリッドアーキテクチャを採用しており、主にMamba-2とMLP層で構成され、注意力層は5つしか含まれていません。

NVIDIA Nemotron-H-8B-Base-8KはNVIDIAが開発した大規模言語モデル（LLM）で、与えられたテキスト断片の補完生成を目的としています。このモデルはハイブリッドアーキテクチャを採用しており、主にMamba-2とMLP層で構成され、わずか4つのアテンション層を組み合わせています。モデルは8Kのコンテキスト長をサポートし、英語、ドイツ語、スペイン語、フランス語、イタリア語、韓国語、ポルトガル語、ロシア語、日本語、中国語など多様な言語をカバーしています。

CogVLM2はMeta-Llama-3-8B-Instructを基に構築されたマルチモーダル大規模モデルで、中英二言語をサポートし、強力な画像理解と対話能力を備えています。

Phi-3-Small-8K-Instructは70億パラメータの軽量オープンソースモデルで、高品質な推論能力に特化し、8Kのコンテキスト長をサポート、英語環境での商業・研究用途に適しています。

Salesforce AI Researchがリリースした7Bパラメータの大規模言語モデル、8Kの長いシーケンス入力をサポート、Apache-2.0ライセンスでオープンソース

ペルシャ語の長文要約に特化したモデルで、8Kトークン長の入力をサポートします。

Longformer注意メカニズムを基に改造されたペルシャ語テキスト要約モデルで、8Kトークン長の入力をサポートします。