# 科学文献処理

KAILASはRoBERTaアーキテクチャに基づくTransformerモデルで、NASA科学ミッション理事会のアプリケーション向けにドメイン適応され、統一天文語彙タグのアノテーションに使用されます。

BioBERTベースの文埋め込みモデルで、複数のNLIデータセットでトレーニングされ、文類似度計算と意味検索タスクに適しています

Nougatは視覚ベースの学術文書理解モデルで、科学PDF画像をMarkdown形式のテキストに変換できます。

DeBERTa v2アーキテクチャに基づく学術論文専用言語モデルで、科学文献処理タスクで優れた性能を発揮

BARTxivはfacebook/bart-large-cnnをarxiv-summarizationデータセットでファインチューニングした要約生成モデルで、学術論文の要約生成タスクに特化しています。

GALACTICAは大規模な科学コーパスで訓練された言語モデルで、引用予測や科学質問応答など、様々な科学タスクを実行できます。

これはsentence-transformersに基づくモデルで、文や段落を768次元の密なベクトル空間にマッピングでき、クラスタリングや意味検索などのタスクに適しています。