Lucie 7B Instruct V1.1

🚀 Lucie-7B-Instruct-v1.1模型卡

Lucie-7B-Instruct-v1.1是一个经过微调的语言模型，基于OpenLLM-France创建的开源多语言因果语言模型Lucie-7B。它旨在取代2025年1月发布的原始Lucie-7B-Instruct模型，在多种指令数据上进行微调，以生成特定类型的响应，但仍需进一步训练以用于特定任务。

🚀 快速开始

你可以按照以下步骤对Lucie-7B-Instruct-v1.1模型进行测试：

使用ollama测试

1. 下载并安装 Ollama。
2. 下载 GGUF模型。
3. 复制 Modelfile，必要时调整GGUF文件的路径（以 FROM 开头的行）。
4. 在shell中运行：
   • ollama create -f Modelfile Lucie
   • ollama run Lucie
5. 当出现 “>>>" 时，输入你的提示并按回车键。
6. 可选操作：输入 "/clear" 重新开始对话。
7. 输入 "/bye" 结束会话。

使用vLLM测试

1. 运行vLLM Docker容器

使用以下命令部署模型，将 INSERT_YOUR_HF_TOKEN 替换为你的Hugging Face Hub令牌。

docker run --runtime nvidia --gpus=all \
    --env "HUGGING_FACE_HUB_TOKEN=INSERT_YOUR_HF_TOKEN" \
    -p 8000:8000 \
    --ipc=host \
    vllm/vllm-openai:latest \
    --model OpenLLM-France/Lucie-7B-Instruct-v1.1

2. 使用Python中的OpenAI客户端进行测试

使用OpenAI Python客户端测试部署的模型，示例代码如下：

from openai import OpenAI

# 初始化客户端
client = OpenAI(base_url='http://localhost:8000/v1', api_key='empty')

# 定义输入内容
content = "Hello Lucie"

# 生成响应
chat_response = client.chat.completions.create(
    model="OpenLLM-France/Lucie-7B-Instruct-v1.1",
    messages=[
        {"role": "user", "content": content}
    ],
)
print(chat_response.choices[0].message.content)

✨ 主要特性

• 多语言支持：支持法语和英语等多种语言。
• 指令微调：在多种人类模板和合成指令上进行微调，能够生成特定类型的响应。
• 大上下文长度：基础模型Lucie-7B具有32K的上下文长度，Lucie-7B-Instruct-v1.1在训练时使用4096的上下文长度，经评估其上下文窗口大小为22K，可通过微调进一步增加。

📦 安装指南

文档未提及安装相关内容，可参考上述快速开始部分进行模型测试。

💻 使用示例

基础用法

在使用ollama测试时，按照上述步骤启动模型后，当出现 “>>>" 时，输入提示信息，如：

Quelle est la capitale de l'Espagne ? Madrid.
Quelle est la capitale de la France ?

模型将生成相应的回答。

高级用法

在使用vLLM测试时，可通过修改Python代码中的输入内容和参数，进行更复杂的测试，例如：

from openai import OpenAI

# 初始化客户端
client = OpenAI(base_url='http://localhost:8000/v1', api_key='empty')

# 定义更复杂的输入内容
content = "请提供一些关于人工智能发展趋势的见解。"

# 生成响应
chat_response = client.chat.completions.create(
    model="OpenLLM-France/Lucie-7B-Instruct-v1.1",
    messages=[
        {"role": "user", "content": content}
    ],
    temperature=0.7,  # 调整温度参数以控制生成的随机性
    max_tokens=200    # 限制生成的最大令牌数
)
print(chat_response.choices[0].message.content)

📚 详细文档

模型描述

Lucie-7B-Instruct-v1.1是 Lucie-7B 的微调版本，由OpenLLM-France创建。它旨在取代2025年1月发布的原始Lucie-7B-Instruct模型。该模型在人类模板和合成指令（由ChatGPT生成）以及一组关于OpenLLM和Lucie的自定义提示上进行了微调。不过，这种指令训练程度较轻，仅能让Lucie生成特定类型的响应（如答案、摘要、列表等）。Lucie-7B-Instruct-v1.1在应用于特定用例的管道或特定生成任务（如代码生成或数学问题解决）之前，还需要进一步训练。此外，它容易产生幻觉，即生成与训练相关的错误答案。通过进一步微调并采用DPO、RLHF等方法进行对齐，可以提高其性能和准确性。由于模型规模的限制，Lucie-7B能够记忆的信息有限，将其应用于检索增强生成管道可以提高其生成正确答案的能力。虽然Lucie-7B-Instruct在4096个令牌的序列上进行训练，但其基础模型Lucie-7B的上下文大小为32K个令牌。根据Needle-in-a-haystack评估，Lucie-7B-Instruct-v1.1的上下文窗口大小为22K个令牌，通过在更长的数据样本上进行微调，这个窗口大小可以进一步增加。

训练详情

训练数据

Lucie-7B-Instruct-v1.1在以下数据集上进行训练：

除了Croissant-Aligned-Instruct数据集随机选取20,000个翻译对之外，每个数据集都进行了一个epoch的训练。

预处理

• 关键词过滤：从四个合成数据集中过滤掉包含助手响应的示例，如果这些响应包含 filter_strings 列表中的关键词。此过滤器旨在移除将助手表示为除Lucie之外的其他模型（如ChatGPT、Gemma、Llama等）的示例。

指令模板

Lucie-7B-Instruct-v1.1在Llama 3.1的聊天模板上进行训练，唯一的区别是将 <|begin_of_text|> 替换为 <s>。最终的模板如下：

<s><|start_header_id|>system<|end_header_id|>

{SYSTEM}<|eot_id|><|start_header_id|>user<|end_header_id|>

{INPUT}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

{OUTPUT}<|eot_id|>

示例：

<s><|start_header_id|>system<|end_header_id|>

You are a helpful assistant.<|eot_id|><|start_header_id|>user<|end_header_id|>

Give me three tips for staying in shape.<|eot_id|><|start_header_id|>assistant<|end_header_id|>

1. Eat a balanced diet and be sure to include plenty of fruits and vegetables. \n2. Exercise regularly to keep your body active and strong. \n3. Get enough sleep and maintain a consistent sleep schedule.<|eot_id|>

训练过程

模型架构和超参数与退火阶段的 Lucie-7B 相同，但有以下例外：

• 上下文长度：4096^*
• 批量大小：1024
• 最大学习率：3e-5
• 最小学习率：3e-6

^*如前所述，虽然Lucie-7B-Instruct在4096个令牌的序列上进行训练，但它保留了基础模型Lucie-7B处理最大32K个令牌上下文大小的能力。

🔧 技术细节

文档未提供足够详细的技术实现细节。

📄 许可证

该模型使用Apache-2.0许可证。

📚 引用

使用Lucie-7B-Instruct-v1.1模型时，请引用以下论文：

✍ Olivier Gouvert, Julie Hunter, Jérôme Louradour, Christophe Cérisara, Evan Dufraisse, Yaya Sy, Laura Rivière, Jean-Pierre Lorré (2025). The Lucie-7B LLM and the Lucie Training Dataset: Open resources for multilingual language generation. arxiv:2503.12294.

@misc{openllm2025lucie,
      title={The Lucie-7B LLM and the Lucie Training Dataset: Open resources for multilingual language generation}, 
      author={Olivier Gouvert and Julie Hunter and Jérôme Louradour and Christophe Cerisara and Evan Dufraisse and Yaya Sy and Laura Rivière and Jean-Pierre Lorré and OpenLLM-France community},
      year={2025},
      eprint={2503.12294},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2503.12294}, 
}

🙏 致谢

本工作使用了GENCI–IDRIS的HPC资源（授权号：2024-GC011015444）。我们衷心感谢GENCI和IDRIS的支持，尤其感谢Pierre-François Lavallée（IDRIS）和Stephane Requena（GENCI）。

Lucie-7B-Instruct-v1.1由 LINAGORA 和 OpenLLM-France 社区的成员创建，按字母顺序包括： Olivier Gouvert（LINAGORA）、 Ismaïl Harrando（LINAGORA/SciencesPo）、 Julie Hunter（LINAGORA）、 Jean-Pierre Lorré（LINAGORA）、 Jérôme Louradour（LINAGORA）、 Michel-Marie Maudet（LINAGORA）和 Laura Rivière（LINAGORA）。

我们感谢 Clément Bénesse（Opsci）、 Christophe Cerisara（LORIA）、 Émile Hazard（Opsci）、 Evan Dufraisse（CEA List）、 Guokan Shang（MBZUAI）、 Joël Gombin（Opsci）、 Jordan Ricker（Opsci）和 Olivier Ferret（CEA List） 提供的有益建议。

最后，我们感谢整个OpenLLM-France社区，其成员以各种方式提供了帮助。

📞 联系信息

如需联系，请发送邮件至 contact@openllm-france.fr。