# 効率的なアテンションメカニズム

SeerAttention-R論文のデコード段階のAttnGate重みを提供し、Qwen3 - 4Bモデルの推論タスクをサポートします。

Tweety-7b-dutchはオランダ語に特化したベース大規模言語モデルで、mistralアーキテクチャを基に、オランダ語トークナイザーを使用してオランダ語テキスト処理能力を最適化しています。

WikiText-103データセットで学習されたNystromformerモデル、長文シーケンス処理をサポート（2048トークン）

WikiText-103 v1データセットでトレーニングされた長いシーケンス用Nyströmformerモデル、4096長のシーケンス処理をサポート

BigBirdアーキテクチャに基づく中国語事前学習モデル、4096長のコンテキスト処理をサポート

これはBigBirdアーキテクチャに基づく中国語事前学習モデルで、中国語テキスト処理に最適化されており、長文シーケンス処理をサポートします。