# 超長コンテキスト処理

Mistral-Small-3.1-24B-Instruct-2503-GGUFは量子化処理された多言語モデルで、複数の言語処理をサポートし、Gaianetを介して実行できます。

NEO CLASS技術に基づく8Bパラメータの大規模言語モデルで、32kのコンテキストウィンドウと強化された指令遵守能力を持つ

Gradientが開発したLlama-3 8Bの長文コンテキスト拡張版で、100万トークンを超えるコンテキスト長をサポートし、RoPE thetaパラメータの最適化により効率的な長文処理能力を実現。

Llama 3 8B 64KはMetaのLlama 3 8Bモデルをベースに、PoSE技術を用いてコンテキスト長を8kから64kに拡張し、言語生成能力を最適化したもので、対話などの様々な自然言語処理シーンに適しています。

Tess-M-v1.3はYi-34B-200Kアーキテクチャでトレーニングされた大規模言語モデルで、汎用大規模言語モデルシリーズに属し、超長コンテキスト処理能力を備えています。

MPT-7BはMosaicMLによってトレーニングされた商用利用可能なオープンソースの大規模言語モデルで、1兆トークンの英語テキストとコードに基づいて事前トレーニングされ、改良されたTransformerアーキテクチャを使用してトレーニングと推論の効率を最適化しています。