Geitje 7B

🚀 GEITje-7B

GEITje是一个拥有70亿参数的大型荷兰语开源模型，基于Mistral 7B构建。它在100亿荷兰语文本标记上进行了进一步训练，提升了其荷兰语能力，并增加了对荷兰语主题的知识储备。

⚠️ 重要提示

应荷兰影视及音乐作品版权保护基金会（Stichting BREIN）的紧急要求，GEITje即日起停止提供。所有模型文件（权重）和检查点已从本仓库中删除。更多说明请见我的博客文章（荷兰语，英语）。

✨ 主要特性

• 基于Mistral 7B，拥有70亿参数。
• 在100亿荷兰语文本标记上进一步训练，提升荷兰语能力和荷兰语主题知识。

📚 详细文档

模型描述

Mistral – 基础模型

GEITje基于 Mistral 7B 构建。这是一个由 Mistral AI 训练的、拥有70亿参数的大型开源语言模型。据Mistral AI称，该7B模型在他们测试的所有（英语）基准测试中表现优于 Llama 2 13B。Mistral 7B已根据Apache 2.0开源许可证发布。

GEITje – 在荷兰语文本上进一步训练

GEITje是通过在来自 荷兰语千兆语料库 和 MADLAD - 400 网络爬取语料库的不少于100亿荷兰语文本标记上对Mistral 7B进行进一步训练而创建的。这是一种所谓的“全参数微调”，即对所有参数进行微调，而非 PEFT 或 LoRA 微调。与Mistral一样，GEITje的“上下文长度”为8192个标记。

更多信息

在GitHub上的 📄 README 中了解更多关于GEITje的信息。

检查点

中间检查点可在 checkpoints 分支中获取。

训练过程

训练超参数

训练期间使用了以下超参数：

• 学习率：2e - 05
• 训练批次大小：2
• 评估批次大小：2
• 随机种子：42
• 分布式类型：多GPU
• 设备数量：8
• 梯度累积步数：8
• 总训练批次大小：128
• 总评估批次大小：16
• 优化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e - 08）
• 学习率调度器类型：余弦
• 学习率调度器热身步数：953
• 训练步数：9536

训练结果

框架版本

• Transformers 4.36.0.dev0
• Pytorch 2.1.1 + cu121
• Datasets 2.15.0
• Tokenizers 0.15.0

📄 许可证

本模型采用Apache 2.0许可证。