# 長文シーケンス処理

JAIS-30Bは300億パラメータのバイリンガル（アラビア語と英語）大規模言語モデルで、GPT-3アーキテクチャを基にALiBi位置埋め込み技術を採用し、アラビア語タスクで最先端の性能を達成しています。

130億パラメータのアラビア語-英語バイリンガル大規模言語モデル、Transformerアーキテクチャに基づき、長文シーケンス処理をサポート

WikiText-103データセットで学習されたNystromformerモデル、長文シーケンス処理をサポート（2048トークン）

BERTINはBERTベースのスペイン語モデルシリーズで、本モデルはRoBERTa-largeアーキテクチャを採用し、Flaxフレームワークを使用してゼロからトレーニングされ、データソースはmC4コーパスのスペイン語部分です。

Nyström法に基づいて最適化された効率的なTransformerモデルで、長文シーケンスタスクの処理に使用

BigBirdはスパースアテンションに基づくTransformerモデルで、最大4096の長いシーケンスを処理でき、長文ドキュメントタスクに適しています。

BioBERTはBERTベースの事前学習言語モデルで、生物医学テキストマイニングタスク向けに最適化されており、QAシステムに適しています。