Swallow 70b Hf

🚀 Swallow

Swallow模型基於Llama 2系列進行持續預訓練，主要增加了日語數據。微調版本採用了監督微調（SFT）技術。其他模型的鏈接可在索引中找到。

🚀 快速開始

本倉庫提供了由TokyoTech-LLM開發的大語言模型。你可以閱讀我們的博客文章或論文。

首先，安裝requirements.txt中的額外依賴項：

pip install -r requirements.txt

🔧 使用指令模型

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "tokyotech-llm/Swallow-7b-instruct-hf"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, low_cpu_mem_usage=True, device_map="auto")


PROMPT_DICT = {
    "prompt_input": (
        "以下に、あるタスクを説明する指示があり、それに付隨する入力が更なる文脈を提供しています。"
        "リクエストを適切に完了するための回答を記述してください。\n\n"
        "### 指示:\n{instruction}\n\n### 入力:\n{input}\n\n### 応答:"

    ),
    "prompt_no_input": (
        "以下に、あるタスクを説明する指示があります。"
        "リクエストを適切に完了するための回答を記述してください。\n\n"
        "### 指示:\n{instruction}\n\n### 応答:"
    ),
}

def create_prompt(instruction, input=None):
    """
    Generates a prompt based on the given instruction and an optional input.
    If input is provided, it uses the 'prompt_input' template from PROMPT_DICT.
    If no input is provided, it uses the 'prompt_no_input' template.

    Args:
        instruction (str): The instruction describing the task.
        input (str, optional): Additional input providing context for the task. Default is None.

    Returns:
        str: The generated prompt.
    """
    if input:
        # Use the 'prompt_input' template when additional input is provided
        return PROMPT_DICT["prompt_input"].format(instruction=instruction, input=input)
    else:
        # Use the 'prompt_no_input' template when no additional input is provided
        return PROMPT_DICT["prompt_no_input"].format(instruction=instruction)

# Example usage
instruction_example = "以下のトピックに関する詳細な情報を提供してください。"
input_example = "東京工業大學の主なキャンパスについて教えてください"
prompt = create_prompt(instruction_example, input_example)

input_ids = tokenizer.encode(
    prompt,
    add_special_tokens=False,
    return_tensors="pt"
)

tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    temperature=0.99,
    top_p=0.95,
    do_sample=True,
)

out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

🔧 使用基礎模型

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "tokyotech-llm/Swallow-7b-hf"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")

prompt = "東京工業大學の主なキャンパスは、"
input_ids = tokenizer.encode(
    prompt,
    add_special_tokens=False,
    return_tensors="pt"
)
tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    temperature=0.99,
    top_p=0.95,
    do_sample=True,
)

out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

✨ 主要特性

• 多語言支持：支持日語和英語兩種語言。
• 持續預訓練：基於Llama 2系列進行持續預訓練，增加了日語數據。
• 微調版本：提供監督微調（SFT）版本，以更好地適應特定任務。

📦 安裝指南

首先，安裝requirements.txt中的額外依賴項：

pip install -r requirements.txt

💻 使用示例

基礎用法

使用指令模型的示例代碼如下：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "tokyotech-llm/Swallow-7b-instruct-hf"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, low_cpu_mem_usage=True, device_map="auto")


PROMPT_DICT = {
    "prompt_input": (
        "以下に、あるタスクを説明する指示があり、それに付隨する入力が更なる文脈を提供しています。"
        "リクエストを適切に完了するための回答を記述してください。\n\n"
        "### 指示:\n{instruction}\n\n### 入力:\n{input}\n\n### 応答:"

    ),
    "prompt_no_input": (
        "以下に、あるタスクを説明する指示があります。"
        "リクエストを適切に完了するための回答を記述してください。\n\n"
        "### 指示:\n{instruction}\n\n### 応答:"
    ),
}

def create_prompt(instruction, input=None):
    """
    Generates a prompt based on the given instruction and an optional input.
    If input is provided, it uses the 'prompt_input' template from PROMPT_DICT.
    If no input is provided, it uses the 'prompt_no_input' template.

    Args:
        instruction (str): The instruction describing the task.
        input (str, optional): Additional input providing context for the task. Default is None.

    Returns:
        str: The generated prompt.
    """
    if input:
        # Use the 'prompt_input' template when additional input is provided
        return PROMPT_DICT["prompt_input"].format(instruction=instruction, input=input)
    else:
        # Use the 'prompt_no_input' template when no additional input is provided
        return PROMPT_DICT["prompt_no_input"].format(instruction=instruction)

# Example usage
instruction_example = "以下のトピックに関する詳細な情報を提供してください。"
input_example = "東京工業大學の主なキャンパスについて教えてください"
prompt = create_prompt(instruction_example, input_example)

input_ids = tokenizer.encode(
    prompt,
    add_special_tokens=False,
    return_tensors="pt"
)

tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    temperature=0.99,
    top_p=0.95,
    do_sample=True,
)

out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

高級用法

使用基礎模型的示例代碼如下：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "tokyotech-llm/Swallow-7b-hf"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")

prompt = "東京工業大學の主なキャンパスは、"
input_ids = tokenizer.encode(
    prompt,
    add_special_tokens=False,
    return_tensors="pt"
)
tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    temperature=0.99,
    top_p=0.95,
    do_sample=True,
)

out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

📚 詳細文檔

模型發佈更新

• 2024年4月26日：發佈增強指令微調模型的0.1版本：Swallow-7b-instruct-v0.1、Swallow-13b-instruct-v0.1和Swallow-70b-instruct-v0.1作為預覽版本。
• 2024年3月2日：發佈Swallow-7b-plus-hf，該模型使用的日語標記數量約為Swallow-7b-hf的兩倍。
• 2024年2月4日：發佈Swallow-13b-NVE-hf。
• 2024年1月26日：發佈Swallow-7b-NVE-hf、Swallow-7b-NVE-instruct-hf、Swallow-70b-NVE-hf和Swallow-70b-NVE-instruct-hf。
• 2023年12月19日：發佈Swallow-7b-hf、Swallow-7b-instruct-hf、Swallow-13b-hf、Swallow-13b-instruct-hf、Swallow-70b-hf和Swallow-70b-instruct-hf。

Swallow模型索引

Swallow模型索引NVE（無詞彙擴展）

模型詳情

基礎模型性能

日語任務

英語任務

評估基準

日語評估基準

我們使用了llm-jp-eval(v1.0.0)和JP Language Model Evaluation Harness(提交編號 #9b42d41)。詳情如下：

• 多項選擇題回答（JCommonsenseQA [Kurihara+，2022]）
• 開放式問題回答（JEMHopQA [Ishii+，2023]）
• 開放式問題回答（NIILC [Sekine，2003]）
• 機器閱讀理解（JSQuAD [Kurihara+，2022]）
• 自動摘要（XL-Sum [Hasan+，2021]）
• 機器翻譯（WMT2020 ja - en [Barrault+，2020]）
• 機器翻譯（WMT2020 en - ja [Barrault+，2020]）
• 數學推理（MGSM [Shi+，2023]）

英語評估基準

我們使用了Language Model Evaluation Harness(v.0.3.0)。詳情如下：

• 多項選擇題回答（OpenBookQA [Mihaylov+，2018]）
• 開放式問題回答（TriviaQA [Joshi+，2017]）
• 機器閱讀理解（SQuAD 2.0 [Rajpurkar+，2018]）
• 常識推理（XWINO [Tikhonov & Ryabinin，2021]）
• 自然語言推理（HellaSwag [Zellers+，2019]）
• 數學推理（GSM8k [Cobbe+，2021]）

訓練數據集

持續預訓練

以下數據集用於持續預訓練：

• 日語維基百科
• RefinedWeb
• Swallow語料庫
• The Pile

指令微調

以下數據集用於指令微調：

• Anthropic HH - RLHF
• Databricks Dolly 15 - k
• OpenAssistant對話數據集

🔧 技術細節

本項目基於Llama 2系列進行持續預訓練，增加了日語數據，並使用監督微調（SFT）技術進行微調。模型採用了基於日語數據擴展詞彙表的分詞器，能夠使用更少的標記更高效地表示文本，從而顯著加快推理過程。

📄 許可證

Llama 2遵循LLAMA 2社區許可證，版權所有 © Meta Platforms, Inc. 保留所有權利。

👥 作者

岡崎實驗室

• 岡崎直明
• 水樹栄
• 飯田弘樹
• 林孟賽
• 平井翔太
• 服部駆
• 大井正成

橫田實驗室

• 橫田理央
• 藤井和樹
• 中村大志

📝 如何引用

如果你覺得我們的工作有幫助，請隨意引用：

@inproceedings{Fujii:COLM2024,
   title={Continual Pre-Training for Cross-Lingual LLM Adaptation:
Enhancing Japanese Language Capabilities},
   author={Kazuki Fujii and Taishi Nakamura and Mengsay Loem and Hiroki
Iida and Masanari Ohi and Kakeru Hattori and Hirai Shota and Sakae
Mizuki and Rio Yokota and Naoaki Okazaki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

@inproceedings{Okazaki:COLM2024,
   title={Building a Large Japanese Web Corpus for Large Language Models},
   author={Naoaki Okazaki and Kakeru Hattori and Hirai Shota and Hiroki
Iida and Masanari Ohi and Kazuki Fujii and Taishi Nakamura and Mengsay
Loem and Rio Yokota and Sakae Mizuki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

⚠️ 風險與限制

此處發佈的模型仍處於我們研究和開發的早期階段，尚未進行調整以確保輸出符合人類意圖和安全考慮。

🙏 致謝

我們感謝Meta Research以開放許可證發佈Llama 2，以便他人在此基礎上進行開發。

我們的項目得到了國立先進工業科學技術研究所ABCI大規模語言模型構建支持計劃的支持。