Lucie 7B Instruct V1.1

🚀 Lucie-7B-Instruct-v1.1模型卡

Lucie-7B-Instruct-v1.1是一個經過微調的語言模型，基於OpenLLM-France創建的開源多語言因果語言模型Lucie-7B。它旨在取代2025年1月發佈的原始Lucie-7B-Instruct模型，在多種指令數據上進行微調，以生成特定類型的響應，但仍需進一步訓練以用於特定任務。

🚀 快速開始

你可以按照以下步驟對Lucie-7B-Instruct-v1.1模型進行測試：

使用ollama測試

1. 下載並安裝 Ollama。
2. 下載 GGUF模型。
3. 複製 Modelfile，必要時調整GGUF文件的路徑（以 FROM 開頭的行）。
4. 在shell中運行：
   • ollama create -f Modelfile Lucie
   • ollama run Lucie
5. 當出現 “>>>" 時，輸入你的提示並按回車鍵。
6. 可選操作：輸入 "/clear" 重新開始對話。
7. 輸入 "/bye" 結束會話。

使用vLLM測試

1. 運行vLLM Docker容器

使用以下命令部署模型，將 INSERT_YOUR_HF_TOKEN 替換為你的Hugging Face Hub令牌。

docker run --runtime nvidia --gpus=all \
    --env "HUGGING_FACE_HUB_TOKEN=INSERT_YOUR_HF_TOKEN" \
    -p 8000:8000 \
    --ipc=host \
    vllm/vllm-openai:latest \
    --model OpenLLM-France/Lucie-7B-Instruct-v1.1

2. 使用Python中的OpenAI客戶端進行測試

使用OpenAI Python客戶端測試部署的模型，示例代碼如下：

from openai import OpenAI

# 初始化客戶端
client = OpenAI(base_url='http://localhost:8000/v1', api_key='empty')

# 定義輸入內容
content = "Hello Lucie"

# 生成響應
chat_response = client.chat.completions.create(
    model="OpenLLM-France/Lucie-7B-Instruct-v1.1",
    messages=[
        {"role": "user", "content": content}
    ],
)
print(chat_response.choices[0].message.content)

✨ 主要特性

• 多語言支持：支持法語和英語等多種語言。
• 指令微調：在多種人類模板和合成指令上進行微調，能夠生成特定類型的響應。
• 大上下文長度：基礎模型Lucie-7B具有32K的上下文長度，Lucie-7B-Instruct-v1.1在訓練時使用4096的上下文長度，經評估其上下文窗口大小為22K，可通過微調進一步增加。

📦 安裝指南

文檔未提及安裝相關內容，可參考上述快速開始部分進行模型測試。

💻 使用示例

基礎用法

在使用ollama測試時，按照上述步驟啟動模型後，當出現 “>>>" 時，輸入提示信息，如：

Quelle est la capitale de l'Espagne ? Madrid.
Quelle est la capitale de la France ?

模型將生成相應的回答。

高級用法

在使用vLLM測試時，可通過修改Python代碼中的輸入內容和參數，進行更復雜的測試，例如：

from openai import OpenAI

# 初始化客戶端
client = OpenAI(base_url='http://localhost:8000/v1', api_key='empty')

# 定義更復雜的輸入內容
content = "請提供一些關於人工智能發展趨勢的見解。"

# 生成響應
chat_response = client.chat.completions.create(
    model="OpenLLM-France/Lucie-7B-Instruct-v1.1",
    messages=[
        {"role": "user", "content": content}
    ],
    temperature=0.7,  # 調整溫度參數以控制生成的隨機性
    max_tokens=200    # 限制生成的最大令牌數
)
print(chat_response.choices[0].message.content)

📚 詳細文檔

模型描述

Lucie-7B-Instruct-v1.1是 Lucie-7B 的微調版本，由OpenLLM-France創建。它旨在取代2025年1月發佈的原始Lucie-7B-Instruct模型。該模型在人類模板和合成指令（由ChatGPT生成）以及一組關於OpenLLM和Lucie的自定義提示上進行了微調。不過，這種指令訓練程度較輕，僅能讓Lucie生成特定類型的響應（如答案、摘要、列表等）。Lucie-7B-Instruct-v1.1在應用於特定用例的管道或特定生成任務（如代碼生成或數學問題解決）之前，還需要進一步訓練。此外，它容易產生幻覺，即生成與訓練相關的錯誤答案。通過進一步微調並採用DPO、RLHF等方法進行對齊，可以提高其性能和準確性。由於模型規模的限制，Lucie-7B能夠記憶的信息有限，將其應用於檢索增強生成管道可以提高其生成正確答案的能力。雖然Lucie-7B-Instruct在4096個令牌的序列上進行訓練，但其基礎模型Lucie-7B的上下文大小為32K個令牌。根據Needle-in-a-haystack評估，Lucie-7B-Instruct-v1.1的上下文窗口大小為22K個令牌，通過在更長的數據樣本上進行微調，這個窗口大小可以進一步增加。

訓練詳情

訓練數據

Lucie-7B-Instruct-v1.1在以下數據集上進行訓練：

除了Croissant-Aligned-Instruct數據集隨機選取20,000個翻譯對之外，每個數據集都進行了一個epoch的訓練。

預處理

• 關鍵詞過濾：從四個合成數據集中過濾掉包含助手響應的示例，如果這些響應包含 filter_strings 列表中的關鍵詞。此過濾器旨在移除將助手錶示為除Lucie之外的其他模型（如ChatGPT、Gemma、Llama等）的示例。

指令模板

Lucie-7B-Instruct-v1.1在Llama 3.1的聊天模板上進行訓練，唯一的區別是將 <|begin_of_text|> 替換為 <s>。最終的模板如下：

<s><|start_header_id|>system<|end_header_id|>

{SYSTEM}<|eot_id|><|start_header_id|>user<|end_header_id|>

{INPUT}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

{OUTPUT}<|eot_id|>

示例：

<s><|start_header_id|>system<|end_header_id|>

You are a helpful assistant.<|eot_id|><|start_header_id|>user<|end_header_id|>

Give me three tips for staying in shape.<|eot_id|><|start_header_id|>assistant<|end_header_id|>

1. Eat a balanced diet and be sure to include plenty of fruits and vegetables. \n2. Exercise regularly to keep your body active and strong. \n3. Get enough sleep and maintain a consistent sleep schedule.<|eot_id|>

訓練過程

模型架構和超參數與退火階段的 Lucie-7B 相同，但有以下例外：

• 上下文長度：4096^*
• 批量大小：1024
• 最大學習率：3e-5
• 最小學習率：3e-6

^*如前所述，雖然Lucie-7B-Instruct在4096個令牌的序列上進行訓練，但它保留了基礎模型Lucie-7B處理最大32K個令牌上下文大小的能力。

🔧 技術細節

文檔未提供足夠詳細的技術實現細節。

📄 許可證

該模型使用Apache-2.0許可證。

📚 引用

使用Lucie-7B-Instruct-v1.1模型時，請引用以下論文：

✍ Olivier Gouvert, Julie Hunter, Jérôme Louradour, Christophe Cérisara, Evan Dufraisse, Yaya Sy, Laura Rivière, Jean-Pierre Lorré (2025). The Lucie-7B LLM and the Lucie Training Dataset: Open resources for multilingual language generation. arxiv:2503.12294.

@misc{openllm2025lucie,
      title={The Lucie-7B LLM and the Lucie Training Dataset: Open resources for multilingual language generation}, 
      author={Olivier Gouvert and Julie Hunter and Jérôme Louradour and Christophe Cerisara and Evan Dufraisse and Yaya Sy and Laura Rivière and Jean-Pierre Lorré and OpenLLM-France community},
      year={2025},
      eprint={2503.12294},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2503.12294}, 
}

🙏 致謝

本工作使用了GENCI–IDRIS的HPC資源（授權號：2024-GC011015444）。我們衷心感謝GENCI和IDRIS的支持，尤其感謝Pierre-François Lavallée（IDRIS）和Stephane Requena（GENCI）。

Lucie-7B-Instruct-v1.1由 LINAGORA 和 OpenLLM-France 社區的成員創建，按字母順序包括： Olivier Gouvert（LINAGORA）、 Ismaïl Harrando（LINAGORA/SciencesPo）、 Julie Hunter（LINAGORA）、 Jean-Pierre Lorré（LINAGORA）、 Jérôme Louradour（LINAGORA）、 Michel-Marie Maudet（LINAGORA）和 Laura Rivière（LINAGORA）。

我們感謝 Clément Bénesse（Opsci）、 Christophe Cerisara（LORIA）、 Émile Hazard（Opsci）、 Evan Dufraisse（CEA List）、 Guokan Shang（MBZUAI）、 Joël Gombin（Opsci）、 Jordan Ricker（Opsci）和 Olivier Ferret（CEA List） 提供的有益建議。

最後，我們感謝整個OpenLLM-France社區，其成員以各種方式提供了幫助。

📞 聯繫信息

如需聯繫，請發送郵件至 contact@openllm-france.fr。