Japanese E5 Mistral 7b Slerp

🚀 句子相似度模型

本模型通過合併 intfloat/e5-mistral-7b-instruct 和 stabilityai/japanese-stablelm-base-gamma-7b 創建而成。若需瞭解模型使用方法，請查看 intfloat/e5-mistral-7b-instruct 頁面或 oshizo/JapaneseEmbeddingEval 的評估筆記本。

🚀 快速開始

模型合併步驟

1. 加載並保存 intfloat/e5-mistral-7b-instruct

由於 e5-mistral-7b-instruct 是使用 "MistralModel" 類創建的，無法直接與 "MistraForCausalLM" 合併。在我的環境中，必須將其加載到 CPU 而非 GPU 上，否則會報錯。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "intfloat/e5-mistral-7b-instruct"
model = AutoModelForCausalLM.from_pretrained(model_id)#, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_id)

model.save_pretrained("./e5-mistral-7b-instruct_with_lm_head")

2. 使用 mergekit 進行合併

使用以下 yaml 配置進行合併： merge_config.yaml

models:
  - model: stabilityai/japanese-stablelm-base-gamma-7b
  - model: ./e5-mistral-7b-instruct_with_lm_head
base_model: stabilityai/japanese-stablelm-base-gamma-7b
parameters:
  t:
    - value: [0.5, 0.9]

merge_method: slerp
dtype: float16

我嘗試了 "linear"、"slerp" 和 "task_arithmetic" 三種合併方法，此設置似乎效果最佳。“t” 參數的選擇是為了在靠近輸入的層更多地使用 japanese-stablelm-base-gamma-7b 以利用其對日語單詞的理解能力，在靠近輸出的層更多地使用 e5-mistral-7b-instruct 以生成良好的嵌入。至於 “ties” 方法，我未能找到能正常工作的密度和權重參數。

3. 複製 e5-mistral-7b-instruct 倉庫中與 pad_token 相關的設置

• config.json
• tokenizer.json
• tokenizer.model
• tokenizer_config.json
• special_tokens_map.json

📄 許可證

本項目採用 MIT 許可證。