Occiglot 7b De En Instruct

🚀 Occiglot-7B-DE-EN-Instruct

Occiglot-7B-DE-EN-Instruct是一款面向西方的多語言生成式語言模型，支持德語和英語。它基於70億參數的occiglot-7b-eu5模型微調而來，在額外的1.8億多語言和代碼指令標記數據上進行訓練。不過，該模型未進行安全對齊，可能會生成有問題的輸出。

🚀 快速開始

Occiglot-7B-DE-EN-Instruct 是 occiglot-7b-eu5 的指令調優版本，這是一個由 Occiglot Research Collective 訓練的、具有70億參數的生成式語言模型，支持德語和英語。它在1.8億額外的多語言和代碼指令標記數據上進行了訓練。請注意，該模型未進行安全對齊，可能會生成有問題的輸出。

這是一個正在進行的多語言語言模型開放研究項目的首次發佈。如果您想為自己的語言訓練模型或正在進行評估工作，請聯繫我們或加入我們的 Discord服務器。我們歡迎合作！

特別感謝 Disco Research、Jan Philipp Harries 和 Björn Plüster 與我們分享德語數據集。

✨ 主要特性

• 多語言支持：支持英語、德語和代碼。
• 指令調優：基於 occiglot-7b-de-en 進行指令調優。
• 大規模參數：具有70億參數，提供強大的語言生成能力。

📦 安裝指南

文檔未提供安裝步驟，跳過該章節。

💻 使用示例

基礎用法

>>> from transformers import AutoTokenizer, MistralForCausalLM, set_seed
>>> tokenizer = AutoTokenizer.from_pretrained("occiglot/occiglot-7b-de-en-instruct")
>>> model = MistralForCausalLM.from_pretrained('occiglot/occiglot-7b-de-en-instruct')  # You may want to use bfloat16 and/or move to GPU here
>>> set_seed(42)
>>> messages = [
>>>    {"role": "system", 'content': 'You are a helpful assistant. Please give short and concise answers.'},
>>>    {"role": "user", "content": "Wer ist der deutsche Bundeskanzler?"},
>>> ]
>>> tokenized_chat = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_dict=False, return_tensors='pt',)
>>> set_seed(42)
>>> outputs = model.generate(tokenized_chat.to('cuda'), max_new_tokens=200,)
>>> tokenizer.decode(out[0][len(tokenized_chat[0]):])
'Der deutsche Bundeskanzler ist Olaf Scholz.'

高級用法

文檔未提供高級用法示例，跳過該部分。

📚 詳細文檔

模型詳情

數據集

訓練數據根據總標記數在德語和英語之間平均分配。感謝 Disco Research、Jan Philipp Harries 和 Björn Plüster 向我們提供他們的數據集。

英語和代碼

• Open-Hermes-2B

德語

• DiscoLM German Dataset，包括公開可用的 germanrag 數據集
• OASST-2（德語子集）
• Aya-Dataset（德語子集）

訓練設置

• 在8xH100上進行全指令微調。
• 0.6 - 4個訓練週期（取決於數據集採樣）。
• 框架：axolotl
• 精度：bf16
• 優化器：AdamW
• 全局批量大小：128（上下文長度為8192）
• 帶預熱的餘弦退火

分詞器

分詞器與 Mistral-7B-v0.1 保持一致。

評估

初步評估結果如下。請注意，非英語結果基於部分機器翻譯的數據集和英語提示（Belebele 和 Okapi框架），因此應謹慎解釋，例如，可能偏向於英語模型性能。目前，我們正在為西班牙語、法語、德語和意大利語開發更合適的基準測試。

🔧 技術細節

文檔未提供技術實現細節，跳過該章節。

📄 許可證

Apache 2.0

相關鏈接

• https://huggingface.co/collections/occiglot/occiglot-eu5-7b-v01-65dbed502a6348b052695e01
• https://huggingface.co/NikolayKozloff/occiglot-7b-de-en-GGUF