Geitje 7B Chat V2

🚀 GEITje-7B-chat-v2

GEITje-7B-chat-v2は、Mistral 7Bをベースにした、70億のパラメータを持つ大規模なオープンなオランダ語モデルです。オランダ語のテキストでさらに学習され、オランダ語の能力とオランダ語のトピックに関する知識が向上しています。

🚀 クイックスタート

⚠️ 重要提示

公益財団法人BREINの強い要請により、GEITjeは直ちに利用できなくなりました。 ⚠️

すべてのモデルファイル（重み）とチェックポイントは、このリポジトリから削除されました。 詳細については、私のブログ記事（オランダ語、英語）を参照してください。

🤖️ 🤗 Hugging Face Spaces でチャットモデルを試してみましょう！

✨ 主な機能

GEITjeは、Mistral 7Bをベースにした、70億のパラメータを持つ大規模なオープンなオランダ語モデルです。オランダ語のテキストでさらに学習され、オランダ語の能力とオランダ語のトピックに関する知識が向上しています。また、GEITje-chatとGEITje-chat-v2は、チャットアプリケーション向けに微調整されており、指示に従い、質問に答え、様々なトピックについて対話を行うことができます。

📚 ドキュメント

Mistral – ベースモデル

GEITjeは、Mistral 7Bをベースにしています。これは、Mistral AIによって学習された、70億のパラメータを持つ大規模なオープンな言語モデルです。Mistral AIによると、7Bモデルは、テストしたすべての（英語の）ベンチマークで、Llama 2 13Bよりも優れた性能を発揮します。Mistral 7Bは、Apache 2.0オープンソースライセンスの下で公開されています。

GEITje – オランダ語テキストでの追加学習

GEITjeは、Dutch Gigacorpus と MADLAD-400 のウェブクローリングコーパスからの100億以上のオランダ語トークンでMistral 7Bをさらに学習することで作成されました。これは、いわゆる 全パラメータ微調整 です。すべてのパラメータに対して行われます。PEFT や LoRA の微調整ではありません。Mistralと同様に、GEITjeの コンテキスト長 は8,192トークンです。

GEITje-chat – 対話用に微調整

GEITjeのチャットアプリケーションにおける能力を示すために、GEITjeの2つの初期チャットバリアントも微調整されています：GEITje-chatとGEITje-chat-v2。これらは、指示に従い、質問に答え、様々なトピックについて対話を行うことができます。

その他の情報

GitHubの 📄 README で、GEITje-chatについてもっと詳しく読むことができます。

チェックポイント

中間チェックポイントは、checkpoints ブランチで利用できます。

🔧 技術詳細

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは次のとおりです：

• learning_rate: 5e-06
• train_batch_size: 2
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 8
• total_train_batch_size: 16
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: cosine
• lr_scheduler_warmup_ratio: 0.1
• num_epochs: 1

学習結果

フレームワークバージョン

• Transformers 4.36.0.dev0
• Pytorch 2.1.1+cu121
• Datasets 2.15.0
• Tokenizers 0.15.0

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。