Occiglot 7b Eu5 Instruct

🚀 Occiglot-7B-EU5-Instruct

Occiglot-7B-EU5-Instruct是一款面向西方的多語言生成式語言模型，支持英語、西班牙語、法語、德語、意大利語及代碼語言。它基於Occiglot-7B-EU5模型微調而來，在額外的4億多語言和代碼指令標記上進行訓練。不過，該模型未進行安全對齊，可能會生成有問題的輸出。

🚀 快速開始

如果您想為自己的語言訓練模型或進行評估工作，歡迎聯繫我們或加入我們的 Discord服務器，我們歡迎合作！

✨ 主要特性

• 多語言支持：支持英語、西班牙語、法語、德語、意大利語及代碼語言。
• 指令微調：基於Occiglot-7B-EU5模型進行指令微調，提升了模型的交互能力。

📦 安裝指南

文檔中未提及具體安裝步驟，故跳過該章節。

💻 使用示例

基礎用法

>>> from transformers import AutoTokenizer, MistralForCausalLM, set_seed
>>> tokenizer = AutoTokenizer.from_pretrained("occiglot/occiglot-7b-eu5-instruct")
>>> model = MistralForCausalLM.from_pretrained('occiglot/occiglot-7b-eu5-instruct')  # You may want to use bfloat16 and/or move to GPU here
>>> set_seed(42)
>>> messages = [
>>>    {"role": "system", 'content': 'You are a helpful assistant. Please give short and concise answers.'},
>>>    {"role": "user", "content": "Wer ist der deutsche Bundeskanzler?"},
>>> ]
>>> tokenized_chat = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_dict=False, return_tensors='pt',)
>>> set_seed(42)
>>> outputs = model.generate(tokenized_chat.to('cuda'), max_new_tokens=200,)
>>> tokenizer.decode(out[0][len(tokenized_chat[0]):])
'Der deutsche Bundeskanzler ist Olaf Scholz.'

📚 詳細文檔

模型詳情

數據集

訓練數據根據總標記數在5種語言中均勻分配。感謝 Disco Research、Jan Philipp Harries 和 Björn Plüster 提供他們的數據集。

• 英語和代碼：Open-Hermes-2B
• 德語：DiscoLM German Dataset（包含公開可用的 germanrag 數據集）、OASST-2（德語子集）、Aya-Dataset（德語子集）
• 西班牙語：Mentor-ES、Squad-es、OASST-2（西班牙語子集）、Aya-Dataset（西班牙語子集）
• 法語：Bactrian-X（法語子集）、AI-Society Translated（法語子集）、GT-Dorimiti、OASST-2（法語子集）、Aya-Dataset（法語子集）
• 意大利語：Quora-IT-Baize、Stackoverflow-IT-Vaize、Camoscio、OASST-2（意大利語子集）、Aya-Dataset（意大利語子集）

訓練設置

• 硬件：在8張H100 GPU上進行全指令微調。
• 訓練輪數：0.6 - 4輪（取決於數據集採樣）。
• 框架：Axolotl
• 精度：bf16
• 優化器：AdamW
• 全局批次大小：128（上下文長度為8192）
• 學習率調度：帶熱身的餘弦退火策略

分詞器

分詞器沿用 Mistral-7B-v0.1 的設置。

評估

初步評估結果如下。需要注意的是，非英語結果基於部分機器翻譯的數據集和英語提示（Belebele 和 Okapi框架），因此應謹慎解讀，可能存在對英語模型性能的偏向。目前，我們正在為西班牙語、法語、德語和意大利語開發更合適的基準測試。

🔧 技術細節

文檔中未提及足夠詳細的技術實現細節，故跳過該章節。

📄 許可證

本模型採用 Apache 2.0 許可證。

🔗 相關鏈接

• https://huggingface.co/collections/occiglot/occiglot-eu5-7b-v01-65dbed502a6348b052695e01

👏 致謝

預訓練模型的訓練得到了 42超級計算機 的計算資源支持，該計算機是 黑森州人工智能 發展的核心組件。同時，也得到了 AI創新實驗室（由 黑森州高等教育、研究與藝術部 (HMWK) 和 黑森州內政、安全與國土安全部 (HMinD) 資助）和 AI服務中心（由 德國聯邦經濟事務和氣候行動部 (BMWK) 資助）的支持。訓練數據的整理部分由 德國聯邦經濟事務和氣候行動部 (BMWK) 通過 OpenGPT-X 項目（項目編號：68GX21007D）資助。