# 多言語長文処理

Granite-4-Tiny-Previewは70億パラメータの細粒度混合エキスパート（MoE）命令ファインチューニングモデルで、Granite-4.0-Tiny-Base-Previewを基に開発され、汎用命令追従タスクに適しています。

XLM-Robertaベースモデルをファインチューニングしたバージョンで、RoPE（回転位置エンコーディング）を元の位置埋め込みに置き換え、2048シーケンス長をサポート

XLM-RoBERTaの重みで初期化された多言語版Longformerモデルで、16384のコンテキスト長をサポートし、下流タスクの微調整に適しています。