Japanese E5 Mistral 7b Slerp

🚀 句子相似度模型

本模型通过合并 intfloat/e5-mistral-7b-instruct 和 stabilityai/japanese-stablelm-base-gamma-7b 创建而成。若需了解模型使用方法，请查看 intfloat/e5-mistral-7b-instruct 页面或 oshizo/JapaneseEmbeddingEval 的评估笔记本。

🚀 快速开始

模型合并步骤

1. 加载并保存 intfloat/e5-mistral-7b-instruct

由于 e5-mistral-7b-instruct 是使用 "MistralModel" 类创建的，无法直接与 "MistraForCausalLM" 合并。在我的环境中，必须将其加载到 CPU 而非 GPU 上，否则会报错。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "intfloat/e5-mistral-7b-instruct"
model = AutoModelForCausalLM.from_pretrained(model_id)#, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_id)

model.save_pretrained("./e5-mistral-7b-instruct_with_lm_head")

2. 使用 mergekit 进行合并

使用以下 yaml 配置进行合并： merge_config.yaml

models:
  - model: stabilityai/japanese-stablelm-base-gamma-7b
  - model: ./e5-mistral-7b-instruct_with_lm_head
base_model: stabilityai/japanese-stablelm-base-gamma-7b
parameters:
  t:
    - value: [0.5, 0.9]

merge_method: slerp
dtype: float16

我尝试了 "linear"、"slerp" 和 "task_arithmetic" 三种合并方法，此设置似乎效果最佳。“t” 参数的选择是为了在靠近输入的层更多地使用 japanese-stablelm-base-gamma-7b 以利用其对日语单词的理解能力，在靠近输出的层更多地使用 e5-mistral-7b-instruct 以生成良好的嵌入。至于 “ties” 方法，我未能找到能正常工作的密度和权重参数。

3. 复制 e5-mistral-7b-instruct 仓库中与 pad_token 相关的设置

• config.json
• tokenizer.json
• tokenizer.model
• tokenizer_config.json
• special_tokens_map.json

📄 许可证

本项目采用 MIT 许可证。