VBART Medium Base

🚀 VBARTモデルカード

VBARTは、トルコ語コーパスを使って大規模で最初から事前学習されたシーケンス-to-シーケンスの大規模言語モデル（LLM）です。2023年2月にVNGRSによって事前学習されました。このモデルは、ファインチューニングすることで、文章要約、言い換え、タイトル生成などの条件付きテキスト生成タスクを実行できます。他の多言語モデルと比べてサイズが小さいにもかかわらず、性能が優れています。

このリポジトリには、VBART-Medium-Baseの事前学習済みTensorFlowとSafetensorsの重みが含まれています。

🚀 クイックスタート

このモデルを使用するには、以下の手順に従ってください。

1. 必要なライブラリをインストールします。
2. 事前学習済みの重みをダウンロードします。
3. モデルをロードし、ファインチューニングまたは推論を行います。

✨ 主な機能

• トルコ語コーパスを使って大規模で事前学習されたシーケンス-to-シーケンスのLLMです。
• ファインチューニングすることで、文章要約、言い換え、タイトル生成などの条件付きテキスト生成タスクを実行できます。
• 他の多言語モデルと比べてサイズが小さいにもかかわらず、性能が優れています。

📦 インストール

インストール手順に関する具体的なコマンドは原ドキュメントに記載されていないため、このセクションは省略されます。

📚 ドキュメント

モデルの詳細

• 開発元: VNGRS-AI
• モデルタイプ: mBARTアーキテクチャに基づくTransformerエンコーダ-デコーダ
• 言語 (NLP): トルコ語
• ライセンス: CC BY-NC-SA 4.0
• 論文: arXiv

学習の詳細

学習データ

ベースモデルは、vngrs-web-corpusで事前学習されています。このデータセットは、OSCAR-2201とmC4データセットのトルコ語部分をクリーニングおよびフィルタリングして作成されています。これらのデータセットは、非構造化ウェブクロールデータの文書で構成されています。データセットに関する詳細情報は、それぞれのページで確認できます。データは、一連のヒューリスティックと特定のルールを使用してフィルタリングされており、これらは我々の論文の付録で説明されています。

制限事項

このモデルは事前学習されたベースモデルであり、マスク言語モデリングが可能です。その目的は、下流タスクのためにファインチューニングされるベースモデルとして機能することです。

学習手順

合計630億トークンで事前学習されています。

ハードウェア

• GPU: 8 x Nvidia A100-80 GB

ソフトウェア

• TensorFlow

ハイパーパラメータ

事前学習

• 学習方式: fp16混合精度
• 学習目的: スパンマスキング（マスク長をポアソン分布λ = 3.5からサンプリングし、トークンの30%をマスク）
• オプティマイザ: Adamオプティマイザ（β1 = 0.9、β2 = 0.98、Ɛ = 1e-6）
• スケジューラ: 元のTransformers論文のカスタムスケジューラ（20,000ウォームアップステップ）
• ドロップアウト: 0.1
• 初期学習率: 5e-6
• 学習トークン: 630億

🔧 技術詳細

原ドキュメントに具体的な技術実装の詳細が記載されています。モデルのアーキテクチャ、学習データの前処理、ハイパーパラメータの設定など、技術的な要素が含まれています。これらの詳細は、モデルの理解と再現性に役立ちます。

📄 ライセンス

このモデルは、CC BY-NC-SA 4.0ライセンスの下で提供されています。

引用

@article{turker2024vbart,
  title={VBART: The Turkish LLM},
  author={Turker, Meliksah and Ari, Erdi and Han, Aydin},
  journal={arXiv preprint arXiv:2403.01308},
  year={2024}
}