Occiglot 7b De En Instruct

🚀 Occiglot-7B-DE-EN-Instruct

Occiglot-7B-DE-EN-Instruct是一款面向西方的多语言生成式语言模型，支持德语和英语。它基于70亿参数的occiglot-7b-eu5模型微调而来，在额外的1.8亿多语言和代码指令标记数据上进行训练。不过，该模型未进行安全对齐，可能会生成有问题的输出。

🚀 快速开始

Occiglot-7B-DE-EN-Instruct 是 occiglot-7b-eu5 的指令调优版本，这是一个由 Occiglot Research Collective 训练的、具有70亿参数的生成式语言模型，支持德语和英语。它在1.8亿额外的多语言和代码指令标记数据上进行了训练。请注意，该模型未进行安全对齐，可能会生成有问题的输出。

这是一个正在进行的多语言语言模型开放研究项目的首次发布。如果您想为自己的语言训练模型或正在进行评估工作，请联系我们或加入我们的 Discord服务器。我们欢迎合作！

特别感谢 Disco Research、Jan Philipp Harries 和 Björn Plüster 与我们分享德语数据集。

✨ 主要特性

• 多语言支持：支持英语、德语和代码。
• 指令调优：基于 occiglot-7b-de-en 进行指令调优。
• 大规模参数：具有70亿参数，提供强大的语言生成能力。

📦 安装指南

文档未提供安装步骤，跳过该章节。

💻 使用示例

基础用法

>>> from transformers import AutoTokenizer, MistralForCausalLM, set_seed
>>> tokenizer = AutoTokenizer.from_pretrained("occiglot/occiglot-7b-de-en-instruct")
>>> model = MistralForCausalLM.from_pretrained('occiglot/occiglot-7b-de-en-instruct')  # You may want to use bfloat16 and/or move to GPU here
>>> set_seed(42)
>>> messages = [
>>>    {"role": "system", 'content': 'You are a helpful assistant. Please give short and concise answers.'},
>>>    {"role": "user", "content": "Wer ist der deutsche Bundeskanzler?"},
>>> ]
>>> tokenized_chat = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_dict=False, return_tensors='pt',)
>>> set_seed(42)
>>> outputs = model.generate(tokenized_chat.to('cuda'), max_new_tokens=200,)
>>> tokenizer.decode(out[0][len(tokenized_chat[0]):])
'Der deutsche Bundeskanzler ist Olaf Scholz.'

高级用法

文档未提供高级用法示例，跳过该部分。

📚 详细文档

模型详情

数据集

训练数据根据总标记数在德语和英语之间平均分配。感谢 Disco Research、Jan Philipp Harries 和 Björn Plüster 向我们提供他们的数据集。

英语和代码

• Open-Hermes-2B

德语

• DiscoLM German Dataset，包括公开可用的 germanrag 数据集
• OASST-2（德语子集）
• Aya-Dataset（德语子集）

训练设置

• 在8xH100上进行全指令微调。
• 0.6 - 4个训练周期（取决于数据集采样）。
• 框架：axolotl
• 精度：bf16
• 优化器：AdamW
• 全局批量大小：128（上下文长度为8192）
• 带预热的余弦退火

分词器

分词器与 Mistral-7B-v0.1 保持一致。

评估

初步评估结果如下。请注意，非英语结果基于部分机器翻译的数据集和英语提示（Belebele 和 Okapi框架），因此应谨慎解释，例如，可能偏向于英语模型性能。目前，我们正在为西班牙语、法语、德语和意大利语开发更合适的基准测试。

🔧 技术细节

文档未提供技术实现细节，跳过该章节。

📄 许可证

Apache 2.0

相关链接

• https://huggingface.co/collections/occiglot/occiglot-eu5-7b-v01-65dbed502a6348b052695e01
• https://huggingface.co/NikolayKozloff/occiglot-7b-de-en-GGUF