Tweety 7b Dutch V24a

🚀 Tweety-7b-dutch: オランダ語の大規模言語モデル

Tweety-7b-dutchは、オランダ語に特化した基礎モデルです。オランダ語トークナイザーを組み込むことで、オランダ語のテキストをよりよく理解し、生成することができます。Mistralアーキテクチャをベースに構築され、8192トークンのコンテキストウィンドウ内で効率的な処理を行うためにフラッシュアテンションを採用しています。このモデルは、クリーン化されたオランダ語mC4データセットで訓練されており、命令微調整は行われていません。

🚀 クイックスタート

Tweety-7b-dutchは、オランダ語のテキスト生成と理解に直接適用できるベースモデルです。

✨ 主な機能

• オランダ語に特化した基礎モデルで、オランダ語のテキスト理解と生成に優れています。
• Mistralアーキテクチャとフラッシュアテンションを採用し、8192トークンのコンテキストウィンドウ内で効率的な処理が可能です。
• クリーン化されたオランダ語mC4データセットで訓練されています。

📚 ドキュメント

モデルの詳細

モデルの説明

当社のTweety-7b-dutchモデルはApache 2.0ライセンスの下で提供されており、研究、コンテンツ作成、言語分析などのアプリケーションを促進します。

用途

ベースモデルとして、Tweety-7b-dutchはオランダ語のテキスト生成と理解に直接適用できます。

技術仕様

コンピュートインフラストラクチャ

訓練にはNvidia H100とA100 GPUが使用されました。推論は、基本的にMistralモデルを実行できる任意のGPUで行うことができます。

モデルの重み

• このモデルはbfloat16で訓練されています。
• GGUF重みはBram Vanroyによって公開されています。

引用

このモデルを使用する場合は、以下のように引用してください。

@article{tweeties2024,
    title = {Trans-Tokenization and Cross-lingual Vocabulary Transfers: Language Adaptation of LLMs for Low-Resource NLP},
    author = {François Remy and Pieter Delobelle and Hayastan Avetisyan and Alfiya Khabibullina and Miryam de Lhoneux and Thomas Demeester},
    url = {https://arxiv.org/abs/2408.04303},
    year = {2024},
    note = {Accepted at COLM 2024}
}

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。