Tweety 7b Dutch V24a

🚀 Tweety-7b-dutch：荷兰语大语言模型

Tweety-7b-dutch是一款专注于荷兰语的基础模型，它集成了荷兰语分词器，能够更好地理解和生成荷兰语文本。该模型基于Mistral架构构建，并采用了Flash Attention技术，可在8192个标记的上下文窗口内进行高效处理。Tweety-7b-dutch在清理后的荷兰语mC4数据集上进行训练，未进行指令微调。

🇳🇱🇧🇪 也有荷兰语版的README

作者信息： Pieter Delobelle、François Remy、Miryam de Lhoneux、Thomas Demeester

🚀 快速开始

Tweety-7b-dutch作为基础模型，可直接应用于荷兰语的文本生成和理解任务。

✨ 主要特性

• 专注荷兰语：集成荷兰语分词器，能更好地处理荷兰语文本。
• 高效架构：基于Mistral架构，采用Flash Attention技术，在8192个标记的上下文窗口内高效处理。
• 数据支撑：在清理后的荷兰语mC4数据集上训练。

📚 详细文档

模型详情

我们的Tweety-7b-dutch模型采用Apache 2.0许可证，鼓励在研究、内容创作和语言分析等方面进行应用。

使用场景

作为基础模型，Tweety-7b-dutch可直接应用于荷兰语的文本生成和理解任务。

技术规格

计算基础设施

训练使用了Nvidia H100和A100 GPU。推理可在较低端的GPU上进行，基本上任何能够运行Mistral模型的GPU都可以。

模型权重

• 该模型以bfloat16格式进行训练。
• GGUF权重由Bram Vanroy发布。

🔧 技术细节

引用信息

如果您使用此模型，请按以下格式引用我们的工作：

@article{tweeties2024,
    title = {Trans-Tokenization and Cross-lingual Vocabulary Transfers: Language Adaptation of LLMs for Low-Resource NLP},
    author = {François Remy and Pieter Delobelle and Hayastan Avetisyan and Alfiya Khabibullina and Miryam de Lhoneux and Thomas Demeester},
    url = {https://arxiv.org/abs/2408.04303},
    year = {2024},
    note = {Accepted at COLM 2024}
}

📄 许可证

本模型采用Apache 2.0许可证。