Geitje 7B

🚀 GEITje-7B

GEITjeは、Mistral 7Bをベースにした、70億のパラメータを持つ大規模なオープンなオランダ語言語モデルです。100億トークンのオランダ語テキストでさらに学習されており、オランダ語の能力が向上し、オランダ語のトピックに関する知識が増えています。

⚠️ 重要提示

Stichting BREINの強い要請により、GEITjeは直ちに利用できなくなりました。すべてのモデルファイル（重み）とチェックポイントはこのリポジトリから削除されました。詳細については、私のブログ記事（オランダ語、英語）を参照してください。

📚 ドキュメント

ベースモデル – Mistral

GEITjeはMistral 7Bをベースにしています。これは、Mistral AIによって学習された、70億のパラメータを持つ大規模なオープンな言語モデルです。Mistral AIによると、7Bモデルは、テストしたすべての（英語の）ベンチマークでLlama 2 13Bよりも優れた性能を発揮します。Mistral 7Bは、Apache 2.0オープンソースライセンスの下でリリースされています。

オランダ語テキストでの追加学習 – GEITje

GEITjeは、Dutch GigacorpusとMADLAD-400のウェブクローリングコーパスからの100億トークン以上のオランダ語テキストでMistral 7Bをさらに学習させることで作成されました。これはいわゆる「全パラメータ微調整」であり、すべてのパラメータに対して行われます。PEFTやLoRAの微調整ではありません。Mistralと同様に、GEITjeの「コンテキスト長」は8,192トークンです。

詳細情報

GitHubの📄 READMEでGEITjeについてもっと読むことができます。

チェックポイント

中間チェックポイントはcheckpointsブランチで利用可能です。

学習手順

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

• learning_rate: 2e-05
• train_batch_size: 2
• eval_batch_size: 2
• seed: 42
• distributed_type: multi-GPU
• num_devices: 8
• gradient_accumulation_steps: 8
• total_train_batch_size: 128
• total_eval_batch_size: 16
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: cosine
• lr_scheduler_warmup_steps: 953
• training_steps: 9536

学習結果

フレームワークバージョン

• Transformers 4.36.0.dev0
• Pytorch 2.1.1+cu121
• Datasets 2.15.0
• Tokenizers 0.15.0

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。