# RoPE位置符号化

FastwebMIIAはFastwebによって開発された70億パラメータのイタリア人工知能モデルで、イタリア語と英語用に設計され、長文書処理をサポートしています。

ModernBERT-largeをSQuAD 2.0データセットでファインチューニングした質問応答モデルで、長文コンテキスト処理をサポート

SB Intuitionsによってトレーニングされた日本語/英語バイリンガル大規模言語モデル、Llama2アーキテクチャベース

GPT-NeoX-20Bは200億パラメータを持つオープンソースの自己回帰言語モデルで、GPT-3アーキテクチャに基づき設計され、the Pileデータセットで訓練されました。

14億のパラメータを持つ大型スロバキア語生成モデル。GPT-Jアーキテクチャに基づいています。