Occiglot 7b De En Instruct

🚀 Occiglot-7B-DE-EN-Instruct

西洋諸言語に対応した多言語モデルです。英語、ドイツ語、コードをサポートし、西洋地域の言語処理に特化しています。

Occiglot-7B-DE-EN-Instruct は、Occiglot Research Collective によって開発された、英語とドイツ語をサポートする70億パラメータの生成型言語モデル occiglot-7b-eu5 の命令調整版です。このモデルは、1億8000万トークンの追加の多言語およびコード命令で学習されています。ただし、このモデルは安全性に関する調整が行われていないため、問題のある出力を生成する可能性があります。

これは、多言語言語モデルに関する継続的なオープンリサーチプロジェクトの最初のリリースです。独自の言語用のモデルを学習させたい場合や評価に取り組んでいる場合は、お問い合わせいただくか、Discordサーバー に参加してください。私たちは協力を歓迎しています！

特別な感謝を Disco Research、Jan Philipp Harries、および Björn Plüster に送ります。彼らは私たちとドイツ語のデータセットを共有してくれました。

🚀 クイックスタート

このモデルは、chatml命令テンプレートを使用して学習されています。transformersのチャットテンプレート機能を使用して対話することができます。生成にはランダム性が含まれるため、再現性のためにシードを設定します。

基本的な使用法

>>> from transformers import AutoTokenizer, MistralForCausalLM, set_seed
>>> tokenizer = AutoTokenizer.from_pretrained("occiglot/occiglot-7b-de-en-instruct")
>>> model = MistralForCausalLM.from_pretrained('occiglot/occiglot-7b-de-en-instruct')  # You may want to use bfloat16 and/or move to GPU here
>>> set_seed(42)
>>> messages = [
>>>    {"role": "system", 'content': 'You are a helpful assistant. Please give short and concise answers.'},
>>>    {"role": "user", "content": "Wer ist der deutsche Bundeskanzler?"},
>>> ]
>>> tokenized_chat = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_dict=False, return_tensors='pt',)
>>> set_seed(42)
>>> outputs = model.generate(tokenized_chat.to('cuda'), max_new_tokens=200,)
>>> tokenizer.decode(out[0][len(tokenized_chat[0]):])
'Der deutsche Bundeskanzler ist Olaf Scholz.'

✨ 主な機能

• 英語、ドイツ語、コードをサポートする多言語モデル。
• 命令調整により、特定の指示に沿った回答を生成できる。

📚 ドキュメント

モデル詳細

データセット

学習データは、トークンの総数に基づいて英語とドイツ語で均等に分割されています。Disco Research、Jan Philipp Harries、および Björn Plüster がデータセットを共有してくれたことに感謝します。

英語とコード

• Open-Hermes-2B

ドイツ語

• DiscoLM German Dataset（公開されている germanrag データセットを含む）
• OASST-2（ドイツ語サブセット）
• Aya-Dataset（ドイツ語サブセット）

学習設定

• 8台のH100での完全な命令微調整。
• 0.6 - 4学習エポック（データセットのサンプリングに依存）。
• フレームワーク: axolotl
• 精度: bf16
• オプティマイザー: AdamW
• グローバルバッチサイズ: 128（コンテキスト長8192）
• ウォームアップ付きのコサインアニーリング

トークナイザー

トークナイザーは Mistral-7B-v0.1 から変更されていません。

評価

予備的な評価結果は以下の通りです。非英語の結果は、部分的に機械翻訳されたデータセットと英語のプロンプト（Belebele および Okapiフレームワーク）に基づいているため、注意して解釈する必要があります。現在、スペイン語、フランス語、ドイツ語、イタリア語に適したベンチマークの開発に取り組んでいます。

謝辞

事前学習モデルの学習は、42スーパーコンピュータ の計算グラントによってサポートされています。このスーパーコンピュータは、hessian AI、AIイノベーションラボ（ヘッセン州高等教育・研究・芸術省 (HMWK) と ヘッセン州内務・安全・国土安全保障省 (HMinD) によって資金提供されている）、および AIサービスセンター（ドイツ連邦経済事務・気候行動省 (BMWK) によって資金提供されている）の開発における中心的な要素です。学習データのキュレーションは、ドイツ連邦経済事務・気候行動省 (BMWK) によって資金提供された OpenGPT-X プロジェクト（プロジェクト番号 68GX21007D）を通じて部分的に支援されています。

📄 ライセンス

Apache 2.0

関連リンク

• https://huggingface.co/collections/occiglot/occiglot-eu5-7b-v01-65dbed502a6348b052695e01
• https://huggingface.co/NikolayKozloff/occiglot-7b-de-en-GGUF