Swallow 7b Instruct Hf

🚀 Swallow

Swallow模型是基於Llama 2家族進行持續預訓練的成果，主要增加了日語數據。微調版本採用了監督微調（SFT）技術。其他模型的鏈接可在索引中找到。

🚀 快速開始

首先，安裝requirements.txt文件中的額外依賴項：

pip install -r requirements.txt

使用指令模型

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "tokyotech-llm/Swallow-7b-instruct-hf"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, low_cpu_mem_usage=True, device_map="auto")


PROMPT_DICT = {
    "prompt_input": (
        "以下に、あるタスクを説明する指示があり、それに付隨する入力が更なる文脈を提供しています。"
        "リクエストを適切に完了するための回答を記述してください。\n\n"
        "### 指示:\n{instruction}\n\n### 入力:\n{input}\n\n### 応答:"

    ),
    "prompt_no_input": (
        "以下に、あるタスクを説明する指示があります。"
        "リクエストを適切に完了するための回答を記述してください。\n\n"
        "### 指示:\n{instruction}\n\n### 応答:"
    ),
}

def create_prompt(instruction, input=None):
    """
    Generates a prompt based on the given instruction and an optional input.
    If input is provided, it uses the 'prompt_input' template from PROMPT_DICT.
    If no input is provided, it uses the 'prompt_no_input' template.

    Args:
        instruction (str): The instruction describing the task.
        input (str, optional): Additional input providing context for the task. Default is None.

    Returns:
        str: The generated prompt.
    """
    if input:
        # Use the 'prompt_input' template when additional input is provided
        return PROMPT_DICT["prompt_input"].format(instruction=instruction, input=input)
    else:
        # Use the 'prompt_no_input' template when no additional input is provided
        return PROMPT_DICT["prompt_no_input"].format(instruction=instruction)

# Example usage
instruction_example = "以下のトピックに関する詳細な情報を提供してください。"
input_example = "東京工業大學の主なキャンパスについて教えてください"
prompt = create_prompt(instruction_example, input_example)

input_ids = tokenizer.encode(
    prompt,
    add_special_tokens=False,
    return_tensors="pt"
)

tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    temperature=0.99,
    top_p=0.95,
    do_sample=True,
)

out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

使用基礎模型

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "tokyotech-llm/Swallow-7b-hf"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")

prompt = "東京工業大學の主なキャンパスは、"
input_ids = tokenizer.encode(
    prompt,
    add_special_tokens=False,
    return_tensors="pt"
)
tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    temperature=0.99,
    top_p=0.95,
    do_sample=True,
)

out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

✨ 主要特性

• 多語言支持：支持日語和英語兩種語言。
• 高效推理：採用基於日語數據擴展詞彙的分詞器，能以更少的標記更高效地表示文本，推理速度更快。
• 性能提升：在多個日語和英語任務上的表現優於Llama 2基礎模型。

📦 安裝指南

安裝requirements.txt文件中的額外依賴項：

pip install -r requirements.txt

💻 使用示例

基礎用法

使用指令模型的示例代碼：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "tokyotech-llm/Swallow-7b-instruct-hf"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, low_cpu_mem_usage=True, device_map="auto")


PROMPT_DICT = {
    "prompt_input": (
        "以下に、あるタスクを説明する指示があり、それに付隨する入力が更なる文脈を提供しています。"
        "リクエストを適切に完了するための回答を記述してください。\n\n"
        "### 指示:\n{instruction}\n\n### 入力:\n{input}\n\n### 応答:"

    ),
    "prompt_no_input": (
        "以下に、あるタスクを説明する指示があります。"
        "リクエストを適切に完了するための回答を記述してください。\n\n"
        "### 指示:\n{instruction}\n\n### 応答:"
    ),
}

def create_prompt(instruction, input=None):
    """
    Generates a prompt based on the given instruction and an optional input.
    If input is provided, it uses the 'prompt_input' template from PROMPT_DICT.
    If no input is provided, it uses the 'prompt_no_input' template.

    Args:
        instruction (str): The instruction describing the task.
        input (str, optional): Additional input providing context for the task. Default is None.

    Returns:
        str: The generated prompt.
    """
    if input:
        # Use the 'prompt_input' template when additional input is provided
        return PROMPT_DICT["prompt_input"].format(instruction=instruction, input=input)
    else:
        # Use the 'prompt_no_input' template when no additional input is provided
        return PROMPT_DICT["prompt_no_input"].format(instruction=instruction)

# Example usage
instruction_example = "以下のトピックに関する詳細な情報を提供してください。"
input_example = "東京工業大學の主なキャンパスについて教えてください"
prompt = create_prompt(instruction_example, input_example)

input_ids = tokenizer.encode(
    prompt,
    add_special_tokens=False,
    return_tensors="pt"
)

tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    temperature=0.99,
    top_p=0.95,
    do_sample=True,
)

out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

高級用法

使用基礎模型的示例代碼：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "tokyotech-llm/Swallow-7b-hf"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")

prompt = "東京工業大學の主なキャンパスは、"
input_ids = tokenizer.encode(
    prompt,
    add_special_tokens=False,
    return_tensors="pt"
)
tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    temperature=0.99,
    top_p=0.95,
    do_sample=True,
)

out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

📚 詳細文檔

模型發佈更新

• 2024年4月26日：發佈增強指令微調模型的0.1版本：Swallow-7b-instruct-v0.1、Swallow-13b-instruct-v0.1和Swallow-70b-instruct-v0.1作為預覽版本。
• 2024年3月2日：發佈Swallow-7b-plus-hf，該模型使用的日語標記數量約為Swallow-7b-hf的兩倍。
• 2024年2月4日：發佈Swallow-13b-NVE-hf。
• 2024年1月26日：發佈Swallow-7b-NVE-hf、Swallow-7b-NVE-instruct-hf、Swallow-70b-NVE-hf和Swallow-70b-NVE-instruct-hf。
• 2023年12月19日：發佈Swallow-7b-hf、Swallow-7b-instruct-hf、Swallow-13b-hf、Swallow-13b-instruct-hf、Swallow-70b-hf和Swallow-70b-instruct-hf。

Swallow模型索引

Swallow模型索引NVE（無詞彙擴展）

模型詳情

基礎模型性能

日語任務

英語任務

評估基準

日語評估基準

使用了llm - jp - eval(v1.0.0)和JP Language Model Evaluation Harness(commit #9b42d41)，詳情如下：

• 多項選擇題回答（JCommonsenseQA [Kurihara +, 2022]）
• 開放式問題回答（JEMHopQA [Ishii +, 2023]）
• 開放式問題回答（NIILC [Sekine, 2003]）
• 機器閱讀理解（JSQuAD [Kurihara +, 2022]）
• 自動摘要（XL - Sum [Hasan +, 2021]）
• 機器翻譯（WMT2020 ja - en [Barrault +, 2020]）
• 機器翻譯（WMT2020 en - ja [Barrault +, 2020]）
• 數學推理（MGSM [Shi +, 2023]）

英語評估基準

使用了Language Model Evaluation Harness(v.0.3.0)，詳情如下：

• 多項選擇題回答（OpenBookQA [Mihaylov +, 2018]）
• 開放式問題回答（TriviaQA [Joshi +, 2017]）
• 機器閱讀理解（SQuAD 2.0 [Rajpurkar +, 2018]）
• 常識推理（XWINO [Tikhonov & Ryabinin, 2021]）
• 自然語言推理（HellaSwag [Zellers +, 2019]）
• 數學推理（GSM8k [Cobbe +, 2021]）

訓練數據集

持續預訓練

以下數據集用於持續預訓練：

• Japanese Wikipedia
• RefinedWeb
• Swallow Corpus
• The Pile

指令微調

以下數據集用於指令微調：

• Anthropic HH - RLHF
• Databricks Dolly 15 - k
• OpenAssistant Conversations Dataset

🔧 技術細節

Swallow模型基於Llama 2進行持續預訓練，增加了日語數據，並採用監督微調（SFT）技術對模型進行微調。分詞器基於日語數據擴展了詞彙，提高了文本表示效率和推理速度。

📄 許可證

Llama 2遵循LLAMA 2社區許可證，版權所有 © Meta Platforms, Inc. 保留所有權利。

致謝

感謝Meta Research以開放許可證發佈Llama 2，以便其他人基於其進行開發。

本項目得到了國立先進工業科學技術研究所ABCI大規模語言模型構建支持計劃的支持。

作者

岡崎實驗室

• Naoaki Okazaki
• Sakae Mizuki
• Hiroki Iida
• Mengsay Loem
• Shota Hirai
• Kakeru Hattori
• Masanari Ohi

橫田實驗室

• Rio Yokota
• Kazuki Fujii
• Taishi Nakamura

引用方式

如果您認為我們的工作有幫助，請引用：

@inproceedings{Fujii:COLM2024,
   title={Continual Pre-Training for Cross-Lingual LLM Adaptation:
Enhancing Japanese Language Capabilities},
   author={Kazuki Fujii and Taishi Nakamura and Mengsay Loem and Hiroki
Iida and Masanari Ohi and Kakeru Hattori and Hirai Shota and Sakae
Mizuki and Rio Yokota and Naoaki Okazaki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

@inproceedings{Okazaki:COLM2024,
   title={Building a Large Japanese Web Corpus for Large Language Models},
   author={Naoaki Okazaki and Kakeru Hattori and Hirai Shota and Hiroki
Iida and Masanari Ohi and Kazuki Fujii and Taishi Nakamura and Mengsay
Loem and Rio Yokota and Sakae Mizuki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

本倉庫提供了由TokyoTech - LLM開發的大語言模型。

閱讀我們的博客文章或論文。

風險與侷限性

此處發佈的模型仍處於研究和開發的早期階段，尚未進行調整以確保輸出符合人類意圖和安全考慮。