VBART Small Base

🚀 VBARTモデルカード

VBARTは、トルコ語コーパスを用いて大規模に从头开始事前学習された初のシーケンス-to-シーケンスの大規模言語モデルです。2023年2月にVNGRSによって事前学習されました。このモデルは、ファインチューニングすることで、文章要約、言い換え、タイトル生成などの条件付きテキスト生成タスクを行うことができます。他の多言語モデルよりもサイズがはるかに小さいにも関わらず、それらを上回る性能を発揮します。

このリポジトリには、VBART-Small-Baseの事前学習済みTensorFlowとSafetensorsの重みが含まれています。

🚀 クイックスタート

VBARTモデルは、トルコ語のコーパスを用いて事前学習されたシーケンス-to-シーケンスの大規模言語モデルです。ファインチューニングすることで、様々な自然言語処理タスクに利用できます。

✨ 主な機能

• 文章要約、言い換え、タイトル生成などの条件付きテキスト生成タスクが可能。
• 他の多言語モデルよりも小さいサイズで高性能を発揮。

📚 ドキュメント

モデルの詳細

• 開発元: VNGRS-AI
• モデルタイプ: mBARTアーキテクチャに基づくTransformerエンコーダ-デコーダ
• 言語: トルコ語
• ライセンス: CC BY-NC-SA 4.0
• 論文: arXiv

学習の詳細

学習データ

ベースモデルは、vngrs-web-corpusで事前学習されています。このコーパスは、OSCAR-2201とmC4データセットのトルコ語部分をクリーニングおよびフィルタリングすることで作成されています。これらのデータセットは、非構造化ウェブクロールデータの文書から構成されています。データセットに関する詳細情報は、それぞれのページで確認できます。データは、一連のヒューリスティックと特定のルールを用いてフィルタリングされており、詳細は論文の付録で説明されています。

制限事項

このモデルは事前学習されたベースモデルであり、マスク言語モデリングが可能です。その目的は、下流タスクのためにファインチューニングされるベースモデルとして機能することです。

学習手順

合計520億トークンで事前学習されています。

ハードウェア

• GPU: 8 x Nvidia A100-80 GB

ソフトウェア

• TensorFlow

ハイパーパラメータ

事前学習

• 学習方式: fp16混合精度
• 学習目的: スパンマスキング（マスク長はポアソン分布λ = 3.5からサンプリングされ、トークンの30%をマスク）
• オプティマイザ: Adamオプティマイザ（β1 = 0.9, β2 = 0.98, Ɛ = 1e-6）
• スケジューラ: 元のTransformers論文のカスタムスケジューラ（20,000ウォームアップステップ）
• ドロップアウト: 0.1
• 初期学習率: 5e-6
• 学習トークン: 520億

📄 ライセンス

このモデルはCC BY-NC-SA 4.0ライセンスの下で提供されています。

🔖 引用

@article{turker2024vbart,
  title={VBART: The Turkish LLM},
  author={Turker, Meliksah and Ari, Erdi and Han, Aydin},
  journal={arXiv preprint arXiv:2403.01308},
  year={2024}
}