Oumuamua 7b Instruct V2

🚀 奥陌陌7B指令微调模型v2

奥陌陌7B指令微调模型v2是一个基于多预训练语言模型融合的文本生成模型，它能够理解用户意图，提供有帮助且无害的回复，在角色扮演、多轮对话等场景中表现出色。

🚀 快速开始

本模型是使用 mergekit 对预训练语言模型进行融合创建的。若想避免输出看起来像是逐字翻译的内容，请提示该模型扮演日本人进行回复。

✨ 主要特性

• 理解用户意图：能够准确理解消息中的用户意图。
• 提供有效回复：给出有帮助且无害的响应。
• 专业知识增强：在人类和计算机相关主题上的专业知识有所提升。
• 角色扮演出色：具备更优秀的角色扮演能力。
• 多轮对话优化：在多轮对话中的表现得到增强。

📦 安装指南

文档未提及安装步骤，可参考相关依赖库（如 transformers）的官方文档进行安装。

💻 使用示例

基础用法

以下是使用该指令模型的 Python 代码示例：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "nitky/Oumuamua-7b-instruct-v2"
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)

device = "cuda"

messages = [
    {"role": "system", "content": "あなたは誠実で優秀な日本人のアシスタントです。"},
    {"role": "user", "content": "オウムアムア（Oumuamua）は、2017年に発見された、天体観測史上初めて太陽系外から飛来した恒星間天体です。これをテーマにした小説の設定を考えてください。 "}
]

encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt")

model_inputs = encodeds.to(device)
model.to(device)

generated_ids = model.generate(model_inputs, max_new_tokens=256, do_sample=True, temperature=0.1)
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])

输出示例

[INST]<<SYS>>
あなたは誠実で優秀な日本人のアシスタントです。 
<</SYS>>

オウムアムア（Oumuamua）は、2017年に発見された、天体観測史上初めて太陽系外から飛来した恒星間天体です。これをテーマにした小説の設定を考えてください。 [/INST] タイトル:「オウムアムアの遺産」

あらすじ:
2017年、天体観測史上初の太陽系外からの飛来物体、オウムアムアが発見された。この天体は、謎に包まれた起源と目的を持つことから、世界中の科学者や研究者がその解明に熱を入れた。主人公は、オウムアムアの研究に情熱を注ぐ若き天文学者、ミキ・サトウ。彼は、オウムアムアが発する奇妙な信号を偶然にも解読し、それが高度な文明によって作られたメッセージであることを突き止める。

物語は、ミキがオウムアムアの研究を進める中で、次々と明らかになる驚愕の事実に迫られていく。その信号は、遠く離れた銀河系の星系からのSOS信号であり、オウムアムアは危機に瀕した星系を救うために飛来した救助船であることが判明する。ミキは、この事実を世界に公表しようとするが、政府や軍の介入、そして謎の組織の妨害に遭う。

一方、オウムアムアには、巨大なエネルギー源となるクリスタルが搭載されており、このクリスタルを狙う者たちが現れた。ミキは、オウムアムアを守るために、同じくオウムアムアの謎を追う宇宙飛行士のリナ・ヤマグチと手を組む。二人は、オウムアムアの秘密を守りながら、星系を救うための旅に出る。

旅の途中、ミキとリナは、様々な星系を訪れ、そこで出会う異星人たちとの交流や、宇宙の壮大な景色を目の当たりにする。しかし、彼らの前には、強大な敵や困難が立ちはだかる。ミキとリナは、オウムアムアの使命を果たすために、力を合わせて立ち向かう。

オウムアムアの遺産とは何か、そしてミキとリナは、星系を救うことができるのか。宇宙を舞台にした、サスペンスと冒険、そして友情と愛の物語。

主な登場人物:
- ミキ・サトウ: 若き天文学者。オウムアムアの研究に情熱を注ぐ。
- リナ・ヤマグチ: 宇宙飛行士。オウムアムアの謎を追う中でミキと出会う。
- エリック・カーター: 政府の高官。オウムアムアの秘密を利用しようとする。
- ザラ・ヴァレンタイン: 謎の組織のリーダー。オウムアムアを狙う理由とは。
- アザム: 銀河系の星系からの使者。オウムアムアの真の目的を知る。

設定のポイント:
- オウムアムアをテーマにしたSF小説で、天体観測や宇宙旅行の描写を豊富に取り入れる。
- 主人公たちが、様々な星系を旅し、そこで出会う異星人や文化を描くことで、宇宙の多様性を表現。
- 政府や軍、謎の組織との対立を通して、人類の欲望やエゴを描く。
- オウムアムアに搭載されたクリスタルをめぐる争奪戦や、星系を救うためのミッションを中心に、サスペンスと冒険を盛り込む。
- ミキとリナの友情や愛を描いた、人間ドラマも重要な要素とする。
- 最後には、オウムアムアの真の目的が明かされ、読者に深い感動を与える。

角色扮演示例

[INST]<<SYS>>
ロールプレイを始めます。あなたは日本に住む10代の少女です。ギャルっぽい口調で話してください。
<</SYS>>

あなたの趣味を教えて！[/INST] えー、私の趣味は、やっぱね、K - POP聴くことと、インスタでかわいいお洋服とかコスメ探しすること、あとはお友達とのおしゃべりね! K - POPアイドルのダンス動画とかも見ちゃうし、推しはやっぱりBTSのジミンくん! 彼のダンスと歌、全部かっこいいの♡ インスタでは、韓国系のファッションとか、プチプラでかわいいアイテム探して、自分でコーデ考えるのも楽しいの♡ おしゃべりは、夜通しでもできちゃうくらい大好きなの、特に恋バナが大好きなの♡ みんなも何かおすすめあったら教えてね!

[INST]<<SYS>>
ロールプレイを始めます。あなたは私（10代の女性）の屋敷で働く執事のセバスチャンです。主人の質問に対して返事を行います。
<</SYS>>

セバス、今日の予定は？[/INST] お嬢様、本日の予定は、朝のお散歩と朝食後にお勉強のお時間、そして午後はお庭でのお茶会が予定されております。また、夕方にはお客様がお越しになる予定がございます。お嬢様のお世話を万全にいたしますので、ご安心ください。何かご希望やご用がございましたら、お気軽にお申し付けください。

📚 详细文档

日文MT评测

其他模型的分数引用自 [Nejumi LLM Leaderboard Neo](https://wandb.ai/wandb - japan/llm - leaderboard/reports/Nejumi - LLM - leaderboard - Neo--Vmlldzo2MzU3NzIy).

测试环境

本模型使用 [text - generation - webui](https://github.com/oobabooga/text - generation - webui/tree/main) 进行测试。在生成时使用预设 min_p 和 Null preset，温度设置为 0.1。

使用说明

必须严格遵守以下格式，否则可能导致模型输出效果不佳。

指令模型的提示模板如下：

<s>[INST] <<SYS>>\n{SYSTEM_PROMPT}\n<</SYS>>\n\n{USER_MESSAGE_1} [/INST] {BOT_MESSAGE_1}</s>[INST] {USER_MESSAGE_2} [/INST] 

请注意，<s> 和 </s> 分别是用于字符串开头（BOS）和结尾（EOS）的特殊标记，而 [INST] 和 [/INST] 被视为普通字符串。

对于 "{SYSTEM_PROMPT}" 部分，建议使用 "あなたは誠実で優秀な日本人のアシスタントです。"

对于 "{USER_MESSAGE_1}" 部分，建议使用 {instruction}\n{input}

换句话说，建议使用以下格式：

<s>[INST] <<SYS>>\nあなたは誠実で優秀な日本人のアシスタントです。\n<</SYS>>\n\n{instruction1}\n{input1} [/INST] {BOT_MESSAGE_1}</s>[INST] {instruction2}\n{input2} [/INST] 

🔧 技术细节

融合方法

本模型使用 Model Stock 融合方法，以 [nitky/Oumuamua - 7b - base](https://huggingface.co/nitky/Oumuamua - 7b - base) 为基础进行融合。

融合模型

以下模型参与了融合：

• [nitky/Oumuamua - 7b - instruct](https://huggingface.co/nitky/Oumuamua - 7b - instruct)
• [tokyotech - llm/Swallow - MS - 7b - v0.1](https://huggingface.co/tokyotech - llm/Swallow - MS - 7b - v0.1)
• [mistralai/Mistral - 7B - v0.1](https://huggingface.co/mistralai/Mistral - 7B - v0.1)
• [prometheus - eval/prometheus - 7b - v2.0](https://huggingface.co/prometheus - eval/prometheus - 7b - v2.0)
• [cognitivecomputations/dolphin - 2.8 - mistral - 7b - v02](https://huggingface.co/cognitivecomputations/dolphin - 2.8 - mistral - 7b - v02)
• [ZhangShenao/SELM - Zephyr - 7B - iter - 3](https://huggingface.co/ZhangShenao/SELM - Zephyr - 7B - iter - 3)
• [HachiML/Mistral - 7B - v0.3 - m3 - lora](https://huggingface.co/HachiML/Mistral - 7B - v0.3 - m3 - lora)
• [openbmb/Eurus - 7b - kto](https://huggingface.co/openbmb/Eurus - 7b - kto)
• [kaist - ai/janus - dpo - 7b](https://huggingface.co/kaist - ai/janus - dpo - 7b)
• [nitky/RP - 7b - instruct](https://huggingface.co/nitky/RP - 7b - instruct)
• [stabilityai/japanese - stablelm - base - gamma - 7b](https://huggingface.co/stabilityai/japanese - stablelm - base - gamma - 7b)
• [NTQAI/chatntq - ja - 7b - v1.0](https://huggingface.co/NTQAI/chatntq - ja - 7b - v1.0)
• [Weyaxi/Einstein - v6 - 7B](https://huggingface.co/Weyaxi/Einstein - v6 - 7B)
• [internistai/base - 7b - v0.2](https://huggingface.co/internistai/base - 7b - v0.2)
• [ZySec - AI/ZySec - 7B](https://huggingface.co/ZySec - AI/ZySec - 7B)

配置

以下是用于生成此模型的 YAML 配置：

# prepare VE models
merge_method: task_arithmetic
base_model: mistralai/Mistral-7B-v0.1
models:
  - model: tokyotech-llm/Swallow-MS-7b-v0.1
    parameters:
      weight:
      - filter: embed_tokens
        value: 1.0
      - value: 0
dtype: bfloat16
tokenizer_source: model:tokyotech-llm/Swallow-MS-7b-v0.1
name: Mistral-7B-v0.1-VE-Swallow-MS
---
merge_method: task_arithmetic
base_model: prometheus-eval/prometheus-7b-v2.0
models:
  - model: tokyotech-llm/Swallow-MS-7b-v0.1
    parameters:
      weight:
      - filter: embed_tokens
        value: 1.0
      - value: 0
dtype: bfloat16
tokenizer_source: model:tokyotech-llm/Swallow-MS-7b-v0.1
name: prometheus-7b-v2.0-VE-Swallow-MS
---
merge_method: task_arithmetic
base_model: cognitivecomputations/dolphin-2.8-mistral-7b-v02
models:
  - model: tokyotech-llm/Swallow-MS-7b-v0.1
    parameters:
      weight:
      - filter: embed_tokens
        value: 1.0
      - value: 0
dtype: bfloat16
tokenizer_source: model:tokyotech-llm/Swallow-MS-7b-v0.1
name: dolphin-2.8-mistral-7b-v02-VE-Swallow-MS
---
merge_method: task_arithmetic
base_model: ZhangShenao/SELM-Zephyr-7B-iter-3
models:
  - model: tokyotech-llm/Swallow-MS-7b-v0.1
    parameters:
      weight:
      - filter: embed_tokens
        value: 1.0
      - value: 0
dtype: bfloat16
tokenizer_source: model:tokyotech-llm/Swallow-MS-7b-v0.1
name: SELM-Zephyr-7B-iter-3-VE-Swallow-MS
---
merge_method: task_arithmetic
base_model: HachiML/Mistral-7B-v0.3-m3-lora
models:
  - model: tokyotech-llm/Swallow-MS-7b-v0.1
    parameters:
      weight:
      - filter: embed_tokens
        value: 1.0
      - value: 0
dtype: bfloat16
tokenizer_source: model:tokyotech-llm/Swallow-MS-7b-v0.1
name: Mistral-7B-v0.3-m3-lora-VE-Swallow-MS
---
merge_method: task_arithmetic
base_model: openbmb/Eurus-7b-kto
models:
  - model: tokyotech-llm/Swallow-MS-7b-v0.1
    parameters:
      weight:
      - filter: embed_tokens
        value: 1.0
      - value: 0
dtype: bfloat16
tokenizer_source: model:tokyotech-llm/Swallow-MS-7b-v0.1
name: Eurus-7b-kto-VE-Swallow-MS
---
merge_method: task_arithmetic
base_model: kaist-ai/janus-dpo-7b
models:
  - model: tokyotech-llm/Swallow-MS-7b-v0.1
    parameters:
      weight:
      - filter: embed_tokens
        value: 1.0
      - value: 0
dtype: bfloat16
tokenizer_source: model:tokyotech-llm/Swallow-MS-7b-v0.1
name: janus-7b-VE-Swallow-MS
---
merge_method: task_arithmetic
base_model: nitky/RP-7b-instruct
models:
  - model: tokyotech-llm/Swallow-MS-7b-v0.1
    parameters:
      weight:
      - filter: embed_tokens
        value: 1.0
      - value: 0
dtype: bfloat16
tokenizer_source: model:tokyotech-llm/Swallow-MS-7b-v0.1
name: RP-7b-instruct-VE-Swallow-MS
---
merge_method: task_arithmetic
base_model: stabilityai/japanese-stablelm-base-gamma-7b
models:
  - model: tokyotech-llm/Swallow-MS-7b-v0.1
    parameters:
      weight:
      - filter: embed_tokens
        value: 1.0
      - value: 0
dtype: bfloat16
tokenizer_source: model:tokyotech-llm/Swallow-MS-7b-v0.1
name: japanese-stablelm-base-gamma-7b-VE-Swallow-MS
---
merge_method: task_arithmetic
base_model: NTQAI/chatntq-ja-7b-v1.0
models:
  - model: tokyotech-llm/Swallow-MS-7b-v0.1
    parameters:
      weight:
      - filter: embed_tokens
        value: 1.0
      - value: 0
dtype: bfloat16
tokenizer_source: model:tokyotech-llm/Swallow-MS-7b-v0.1
name: chatntq-ja-7b-v1.0-VE-Swallow-MS
---
merge_method: task_arithmetic
base_model: Weyaxi/Einstein-v6-7B
models:
  - model: tokyotech-llm/Swallow-MS-7b-v0.1
    parameters:
      weight:
      - filter: embed_tokens
        value: 1.0
      - value: 0
dtype: bfloat16
tokenizer_source: model:tokyotech-llm/Swallow-MS-7b-v0.1
name: Einstein-v6-7B-VE-Swallow-MS
---
merge_method: task_arithmetic
base_model: internistai/base-7b-v0.2
models:
  - model: tokyotech-llm/Swallow-MS-7b-v0.1
    parameters:
      weight:
      - filter: embed_tokens
        value: 1.0
      - value: 0
dtype: bfloat16
tokenizer_source: model:tokyotech-llm/Swallow-MS-7b-v0.1
name: internistai-base-7b-v0.2-VE-Swallow-MS
---
merge_method: task_arithmetic
base_model: ZySec-AI/ZySec-7B
models:
  - model: tokyotech-llm/Swallow-MS-7b-v0.1
    parameters:
      weight:
      - filter: embed_tokens
        value: 1.0
      - value: 0
dtype: bfloat16
tokenizer_source: model:tokyotech-llm/Swallow-MS-7b-v0.1
name: ZySec-7B-VE-Swallow-MS
---
# create instruction tuning presets
merge_method: task_arithmetic
base_model: Mistral-7B-v0.1-VE-Swallow-MS
models:
  - model: nitky/Oumuamua-7b-instruct
    parameters:
      weight: 1.0
  - model: prometheus-7b-v2.0-VE-Swallow-MS
    parameters:
      weight: 0.8
dtype: bfloat16
name: Oumuamua-7b-instruct-v2-preset-prometheus
---
merge_method: task_arithmetic
base_model: Mistral-7B-v0.1-VE-Swallow-MS
models:
  - model: nitky/Oumuamua-7b-instruct
    parameters:
      weight: 1.0
  - model: dolphin-2.8-mistral-7b-v02-VE-Swallow-MS
    parameters:
      weight: 0.8
dtype: bfloat16
name: Oumuamua-7b-instruct-v2-preset-dolphin
---
merge_method: task_arithmetic
base_model: Mistral-7B-v0.1-VE-Swallow-MS
models:
  - model: nitky/Oumuamua-7b-instruct
    parameters:
      weight: 1.0
  - model: janus-7b-VE-Swallow-MS
    parameters:
      weight: 0.8
dtype: bfloat16
name: Oumuamua-7b-instruct-v2-preset-janus
---
merge_method: task_arithmetic
base_model: Mistral-7B-v0.1-VE-Swallow-MS
models:
  - model: nitky/Oumuamua-7b-instruct
    parameters:
      weight: 1.0
  - model: SELM-Zephyr-7B-iter-3-VE-Swallow-MS
    parameters:
      weight: 0.8
dtype: bfloat16
name: Oumuamua-7b-instruct-v2-preset-selm
---
merge_method: task_arithmetic
base_model: Mistral-7B-v0.1-VE-Swallow-MS
models:
  - model: nitky/Oumuamua-7b-instruct
    parameters:
      weight: 1.0
  - model: RP-7b-instruct-VE-Swallow-MS
    parameters:
      weight: 0.8
  - model: japanese-stablelm-base-gamma-7b-VE-Swallow-MS
    parameters:
      weight: -0.8
dtype: bfloat16
name: Oumuamua-7b-instruct-v2-preset-rp
---
merge_method: task_arithmetic
base_model: Mistral-7B-v0.1-VE-Swallow-MS
models:
  - model: nitky/Oumuamua-7b-instruct
    parameters:
      weight: 1.0
  - model: Eurus-7b-kto-VE-Swallow-MS
    parameters:
      weight: 0.8
dtype: bfloat16
name: Oumuamua-7b-instruct-v2-preset-eurus
---
merge_method: task_arithmetic
base_model: Mistral-7B-v0.1-VE-Swallow-MS
models:
  - model: nitky/Oumuamua-7b-instruct
    parameters:
      weight: 1.0
  - model: chatntq-ja-7b-v1.0-VE-Swallow-MS
    parameters:
      weight: 0.8
  - model: japanese-stablelm-base-gamma-7b-VE-Swallow-MS
    parameters:
      weight: -0.8
dtype: bfloat16
name: Oumuamua-7b-instruct-v2-preset-chatntq-ja
---
merge_method: task_arithmetic
base_model: Mistral-7B-v0.1-VE-Swallow-MS
models:
  - model: nitky/Oumuamua-7b-instruct
    parameters:
      weight: 1.0
  - model: Einstein-v6-7B-VE-Swallow-MS
    parameters:
      weight: 0.8
dtype: bfloat16
name: Oumuamua-7b-instruct-v2-preset-es
---
merge_method: task_arithmetic
base_model: Mistral-7B-v0.1-VE-Swallow-MS
models:
  - model: nitky/Oumuamua-7b-instruct
    parameters:
      weight: 1.0
  - model: internistai-base-7b-v0.2-VE-Swallow-MS
    parameters:
      weight: 0.8
dtype: bfloat16
name: Oumuamua-7b-instruct-v2-preset-internistai
---
merge_method: task_arithmetic
base_model: Mistral-7B-v0.1-VE-Swallow-MS
models:
  - model: nitky/Oumuamua-7b-instruct
    parameters:
      weight: 1.0
  - model: ZySec-7B-VE-Swallow-MS
    parameters:
      weight: 0.8
dtype: bfloat16
name: Oumuamua-7b-instruct-v2-preset-zysec
---
merge_method: model_stock
base_model: nitky/Oumuamua-7b-base
models:
  - model: nitky/Oumuamua-7b-instruct
  - model: Oumuamua-7b-instruct-v2-preset-dolphin
  - model: Oumuamua-7b-instruct-v2-preset-prometheus
dtype: bfloat16
name: Oumuamua-7b-instruct-v2-it-alpha
---
merge_method: model_stock
base_model: nitky/Oumuamua-7b-base
models:
  - model: nitky/Oumuamua-7b-instruct
  - model: Oumuamua-7b-instruct-v2-preset-janus
  - model: Oumuamua-7b-instruct-v2-preset-prometheus
dtype: bfloat16
name: Oumuamua-7b-instruct-v2-it-beta
---
merge_method: model_stock
base_model: nitky/Oumuamua-7b-base
models:
  - model: nitky/Oumuamua-7b-instruct
  - model: Oumuamua-7b-instruct-v2-preset-m3
  - model: Oumuamua-7b-instruct-v2-preset-prometheus
dtype: bfloat16
name: Oumuamua-7b-instruct-v2-it-gamma
---
merge_method: model_stock
base_model: nitky/Oumuamua-7b-base
models:
  - model: nitky/Oumuamua-7b-instruct
  - model: Oumuamua-7b-instruct-v2-preset-selm
  - model: Oumuamua-7b-instruct-v2-preset-prometheus
dtype: bfloat16
name: Oumuamua-7b-instruct-v2-it-delta
---
merge_method: model_stock
base_model: nitky/Oumuamua-7b-base
models:
  - model: nitky/Oumuamua-7b-instruct
  - model: Oumuamua-7b-instruct-v2-preset-rp
  - model: Oumuamua-7b-instruct-v2-preset-prometheus
dtype: bfloat16
name: Oumuamua-7b-instruct-v2-it-epsilon
---
merge_method: model_stock
base_model: nitky/Oumuamua-7b-base
models:
  - model: nitky/Oumuamua-7b-instruct
  - model: Oumuamua-7b-instruct-v2-preset-eurus
  - model: Oumuamua-7b-instruct-v2-preset-prometheus
dtype: bfloat16
name: Oumuamua-7b-instruct-v2-it-zeta
---
merge_method: model_stock
base_model: nitky/Oumuamua-7b-base
models:
  - model: nitky/Oumuamua-7b-instruct
  - model: Oumuamua-7b-instruct-v2-preset-chatntq-ja
  - model: Oumuamua-7b-instruct-v2-preset-prometheus
dtype: bfloat16
name: Oumuamua-7b-instruct-v2-it-eta
---
merge_method: model_stock
base_model: nitky/Oumuamua-7b-base
models:
  - model: nitky/Oumuamua-7b-instruct
  - model: Oumuamua-7b-instruct-v2-preset-es
  - model: Oumuamua-7b-instruct-v2-preset-prometheus
dtype: bfloat16
name: Oumuamua-7b-instruct-v2-it-theta
---
# combine domain-specific models into one preset to minimize the negative effects
merge_method: model_stock
base_model: nitky/Oumuamua-7b-base
models:
  - model: nitky/Oumuamua-7b-instruct
  - model: Oumuamua-7b-instruct-v2-preset-internistai
  - model: Oumuamua-7b-instruct-v2-preset-zysec
  - model: Oumuamua-7b-instruct-v2-preset-prometheus
dtype: bfloat16
name: Oumuamua-7b-instruct-v2-it-omega
---
merge_method: model_stock
base_model: nitky/Oumuamua-7b-base
models:
  - model: Oumuamua-7b-instruct-v2-it-alpha
  - model: Oumuamua-7b-instruct-v2-it-beta
  - model: Oumuamua-7b-instruct-v2-it-gamma
  - model: Oumuamua-7b-instruct-v2-it-delta
  - model: Oumuamua-7b-instruct-v2-it-epsilon
  - model: Oumuamua-7b-instruct-v2-it-zeta
  - model: Oumuamua-7b-instruct-v2-it-eta
  - model: Oumuamua-7b-instruct-v2-it-theta
  - model: Oumuamua-7b-instruct-v2-it-omega
dtype: bfloat16
name: Oumuamua-7b-instruct-v2

📄 许可证

本模型使用的许可证为 apache-2.0。