Geitje 7B

🚀 GEITje-7B

GEITje是一個擁有70億參數的大型荷蘭語開源模型，基於Mistral 7B構建。它在100億荷蘭語文本標記上進行了進一步訓練，提升了其荷蘭語能力，並增加了對荷蘭語主題的知識儲備。

⚠️ 重要提示

應荷蘭影視及音樂作品版權保護基金會（Stichting BREIN）的緊急要求，GEITje即日起停止提供。所有模型文件（權重）和檢查點已從本倉庫中刪除。更多說明請見我的博客文章（荷蘭語，英語）。

✨ 主要特性

• 基於Mistral 7B，擁有70億參數。
• 在100億荷蘭語文本標記上進一步訓練，提升荷蘭語能力和荷蘭語主題知識。

📚 詳細文檔

模型描述

Mistral – 基礎模型

GEITje基於 Mistral 7B 構建。這是一個由 Mistral AI 訓練的、擁有70億參數的大型開源語言模型。據Mistral AI稱，該7B模型在他們測試的所有（英語）基準測試中表現優於 Llama 2 13B。Mistral 7B已根據Apache 2.0開源許可證發佈。

GEITje – 在荷蘭語文本上進一步訓練

GEITje是通過在來自 荷蘭語千兆語料庫 和 MADLAD - 400 網絡爬取語料庫的不少於100億荷蘭語文本標記上對Mistral 7B進行進一步訓練而創建的。這是一種所謂的“全參數微調”，即對所有參數進行微調，而非 PEFT 或 LoRA 微調。與Mistral一樣，GEITje的“上下文長度”為8192個標記。

更多信息

在GitHub上的 📄 README 中瞭解更多關於GEITje的信息。

檢查點

中間檢查點可在 checkpoints 分支中獲取。

訓練過程

訓練超參數

訓練期間使用了以下超參數：

• 學習率：2e - 05
• 訓練批次大小：2
• 評估批次大小：2
• 隨機種子：42
• 分佈式類型：多GPU
• 設備數量：8
• 梯度累積步數：8
• 總訓練批次大小：128
• 總評估批次大小：16
• 優化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e - 08）
• 學習率調度器類型：餘弦
• 學習率調度器熱身步數：953
• 訓練步數：9536

訓練結果

框架版本

• Transformers 4.36.0.dev0
• Pytorch 2.1.1 + cu121
• Datasets 2.15.0
• Tokenizers 0.15.0

📄 許可證

本模型採用Apache 2.0許可證。