# 16Kコンテキスト

llama-13bを微調整したオープンソースのチャットボットで、16kのコンテキスト長をサポートし、ShareGPTプラットフォームのユーザーが共有した対話からトレーニングデータを取得

このモデルはbillsumデータセットでled-base-16384をファインチューニングしたバージョンで、長文要約生成タスク専用です。

Billsumデータセットでファインチューニングされた長文書エンコーダー-デコーダー(LED)モデルで、法律文書の要約生成に特化

ILCデータセットで微調整されたLongformerエンコーダー・デコーダーモデルで、法律文書の要約生成タスクに特化

LEDアーキテクチャに基づくテキスト要約モデルで、技術的、学術的、物語的な長文の要約生成に特化しています。

DialogLMは、Longformer-Encoder-Decoder（LED）アーキテクチャに基づく事前学習モデルで、長い対話理解と要約タスク用に設計されています。