# 8k長文処理

BTLM-3B-8k-baseは8kコンテキスト長を持つ30億パラメータの言語モデルで、6270億トークンのSlimPajamaデータセットでトレーニングされ、オープンソースの70億パラメータモデルに匹敵する性能を発揮します。

MPT-30BはMosaicMLがトレーニングしたオープンソースの大規模言語モデルで、デコーダーアーキテクチャのTransformerを基に、1兆の英語テキストとコードトークンで事前トレーニングされ、8kのコンテキストウィンドウと効率的な推論をサポートします。