Tweety 7b Dutch V24a

🚀 Tweety-7b-dutch：荷蘭語大語言模型

Tweety-7b-dutch是一款專注於荷蘭語的基礎模型，它集成了荷蘭語分詞器，能夠更好地理解和生成荷蘭語文本。該模型基於Mistral架構構建，並採用了Flash Attention技術，可在8192個標記的上下文窗口內進行高效處理。Tweety-7b-dutch在清理後的荷蘭語mC4數據集上進行訓練，未進行指令微調。

🇳🇱🇧🇪 也有荷蘭語版的README

作者信息： Pieter Delobelle、François Remy、Miryam de Lhoneux、Thomas Demeester

🚀 快速開始

Tweety-7b-dutch作為基礎模型，可直接應用於荷蘭語的文本生成和理解任務。

✨ 主要特性

• 專注荷蘭語：集成荷蘭語分詞器，能更好地處理荷蘭語文本。
• 高效架構：基於Mistral架構，採用Flash Attention技術，在8192個標記的上下文窗口內高效處理。
• 數據支撐：在清理後的荷蘭語mC4數據集上訓練。

📚 詳細文檔

模型詳情

我們的Tweety-7b-dutch模型採用Apache 2.0許可證，鼓勵在研究、內容創作和語言分析等方面進行應用。

使用場景

作為基礎模型，Tweety-7b-dutch可直接應用於荷蘭語的文本生成和理解任務。

技術規格

計算基礎設施

訓練使用了Nvidia H100和A100 GPU。推理可在較低端的GPU上進行，基本上任何能夠運行Mistral模型的GPU都可以。

模型權重

• 該模型以bfloat16格式進行訓練。
• GGUF權重由Bram Vanroy發佈。

🔧 技術細節

引用信息

如果您使用此模型，請按以下格式引用我們的工作：

@article{tweeties2024,
    title = {Trans-Tokenization and Cross-lingual Vocabulary Transfers: Language Adaptation of LLMs for Low-Resource NLP},
    author = {François Remy and Pieter Delobelle and Hayastan Avetisyan and Alfiya Khabibullina and Miryam de Lhoneux and Thomas Demeester},
    url = {https://arxiv.org/abs/2408.04303},
    year = {2024},
    note = {Accepted at COLM 2024}
}

📄 許可證

本模型採用Apache 2.0許可證。