Discolm Mfto 7b German V0.1

🚀 模型融合

本項目是使用 mergekit 對預訓練語言模型進行的實驗性融合。

🚀 快速開始

本模型是通過預訓練語言模型融合得到的實驗性模型，可用於德語和英語的角色扮演等場景。

✨ 主要特性

• 多語言支持：支持德語（de）和英語（en）。
• 特定場景適用：尤其適用於德語角色扮演場景。

📚 詳細文檔

融合詳情

融合方法

本模型採用 SLERP 融合方法進行融合。

融合模型

融合過程中使用了以下模型：

• OpenPipe/mistral-ft-optimized-1227
• DiscoResearch/DiscoLM_German_7b_v1

為何選擇這兩個模型？

據我所知，在德語生成方面，這兩個模型是目前最好的。

截至2024年1月21日，DiscoLM German 7B 是目前最好的德語模型，語法錯誤極少，生成的德語語句自然流暢。不過，它是基於 Mistral V0.2 甚至 V0.1 進行微調的。

Mistral FT Optimized 1227 在德語處理上比 Mistral 7B V0.2 以及其他德語微調模型要好得多，那些模型幾乎每句話都會出現語法錯誤。但即便如此，該模型在德語生成能力上仍落後於 DiscoLM German 7B，生成的德語語句不夠規範。

融合這兩個模型的主要目的是得到一個更好的德語模型，尤其適用於德語角色扮演場景。

配置

以下是用於生成此模型的 YAML 配置：

slices:
  - sources:
      - model: OpenPipe/mistral-ft-optimized-1227
        layer_range: [0, 32]
      - model: DiscoResearch/DiscoLM_German_7b_v1
        layer_range: [0, 32]
merge_method: slerp
base_model: OpenPipe/mistral-ft-optimized-1227
parameters:
  t:
    - value: [0.5, 0.9]
dtype: bfloat16

此配置來自模型 oshizo/japanese-e5-mistral-7b_slerp。