Occiglot 7b Eu5 Instruct

🚀 Occiglot-7B-EU5-Instruct

Occiglot-7B-EU5-Instruct是一款面向西方的多语言生成式语言模型，支持英语、西班牙语、法语、德语、意大利语及代码语言。它基于Occiglot-7B-EU5模型微调而来，在额外的4亿多语言和代码指令标记上进行训练。不过，该模型未进行安全对齐，可能会生成有问题的输出。

🚀 快速开始

如果您想为自己的语言训练模型或进行评估工作，欢迎联系我们或加入我们的 Discord服务器，我们欢迎合作！

✨ 主要特性

• 多语言支持：支持英语、西班牙语、法语、德语、意大利语及代码语言。
• 指令微调：基于Occiglot-7B-EU5模型进行指令微调，提升了模型的交互能力。

📦 安装指南

文档中未提及具体安装步骤，故跳过该章节。

💻 使用示例

基础用法

>>> from transformers import AutoTokenizer, MistralForCausalLM, set_seed
>>> tokenizer = AutoTokenizer.from_pretrained("occiglot/occiglot-7b-eu5-instruct")
>>> model = MistralForCausalLM.from_pretrained('occiglot/occiglot-7b-eu5-instruct')  # You may want to use bfloat16 and/or move to GPU here
>>> set_seed(42)
>>> messages = [
>>>    {"role": "system", 'content': 'You are a helpful assistant. Please give short and concise answers.'},
>>>    {"role": "user", "content": "Wer ist der deutsche Bundeskanzler?"},
>>> ]
>>> tokenized_chat = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_dict=False, return_tensors='pt',)
>>> set_seed(42)
>>> outputs = model.generate(tokenized_chat.to('cuda'), max_new_tokens=200,)
>>> tokenizer.decode(out[0][len(tokenized_chat[0]):])
'Der deutsche Bundeskanzler ist Olaf Scholz.'

📚 详细文档

模型详情

数据集

训练数据根据总标记数在5种语言中均匀分配。感谢 Disco Research、Jan Philipp Harries 和 Björn Plüster 提供他们的数据集。

• 英语和代码：Open-Hermes-2B
• 德语：DiscoLM German Dataset（包含公开可用的 germanrag 数据集）、OASST-2（德语子集）、Aya-Dataset（德语子集）
• 西班牙语：Mentor-ES、Squad-es、OASST-2（西班牙语子集）、Aya-Dataset（西班牙语子集）
• 法语：Bactrian-X（法语子集）、AI-Society Translated（法语子集）、GT-Dorimiti、OASST-2（法语子集）、Aya-Dataset（法语子集）
• 意大利语：Quora-IT-Baize、Stackoverflow-IT-Vaize、Camoscio、OASST-2（意大利语子集）、Aya-Dataset（意大利语子集）

训练设置

• 硬件：在8张H100 GPU上进行全指令微调。
• 训练轮数：0.6 - 4轮（取决于数据集采样）。
• 框架：Axolotl
• 精度：bf16
• 优化器：AdamW
• 全局批次大小：128（上下文长度为8192）
• 学习率调度：带热身的余弦退火策略

分词器

分词器沿用 Mistral-7B-v0.1 的设置。

评估

初步评估结果如下。需要注意的是，非英语结果基于部分机器翻译的数据集和英语提示（Belebele 和 Okapi框架），因此应谨慎解读，可能存在对英语模型性能的偏向。目前，我们正在为西班牙语、法语、德语和意大利语开发更合适的基准测试。

🔧 技术细节

文档中未提及足够详细的技术实现细节，故跳过该章节。

📄 许可证

本模型采用 Apache 2.0 许可证。

🔗 相关链接

• https://huggingface.co/collections/occiglot/occiglot-eu5-7b-v01-65dbed502a6348b052695e01

👏 致谢

预训练模型的训练得到了 42超级计算机 的计算资源支持，该计算机是 黑森州人工智能 发展的核心组件。同时，也得到了 AI创新实验室（由 黑森州高等教育、研究与艺术部 (HMWK) 和 黑森州内政、安全与国土安全部 (HMinD) 资助）和 AI服务中心（由 德国联邦经济事务和气候行动部 (BMWK) 资助）的支持。训练数据的整理部分由 德国联邦经济事务和气候行动部 (BMWK) 通过 OpenGPT-X 项目（项目编号：68GX21007D）资助。