Swallow 70b Hf

🚀 Swallow

Swallow模型基于Llama 2系列进行持续预训练，主要增加了日语数据。微调版本采用了监督微调（SFT）技术。其他模型的链接可在索引中找到。

🚀 快速开始

本仓库提供了由TokyoTech-LLM开发的大语言模型。你可以阅读我们的博客文章或论文。

首先，安装requirements.txt中的额外依赖项：

pip install -r requirements.txt

🔧 使用指令模型

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "tokyotech-llm/Swallow-7b-instruct-hf"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, low_cpu_mem_usage=True, device_map="auto")


PROMPT_DICT = {
    "prompt_input": (
        "以下に、あるタスクを説明する指示があり、それに付随する入力が更なる文脈を提供しています。"
        "リクエストを適切に完了するための回答を記述してください。\n\n"
        "### 指示:\n{instruction}\n\n### 入力:\n{input}\n\n### 応答:"

    ),
    "prompt_no_input": (
        "以下に、あるタスクを説明する指示があります。"
        "リクエストを適切に完了するための回答を記述してください。\n\n"
        "### 指示:\n{instruction}\n\n### 応答:"
    ),
}

def create_prompt(instruction, input=None):
    """
    Generates a prompt based on the given instruction and an optional input.
    If input is provided, it uses the 'prompt_input' template from PROMPT_DICT.
    If no input is provided, it uses the 'prompt_no_input' template.

    Args:
        instruction (str): The instruction describing the task.
        input (str, optional): Additional input providing context for the task. Default is None.

    Returns:
        str: The generated prompt.
    """
    if input:
        # Use the 'prompt_input' template when additional input is provided
        return PROMPT_DICT["prompt_input"].format(instruction=instruction, input=input)
    else:
        # Use the 'prompt_no_input' template when no additional input is provided
        return PROMPT_DICT["prompt_no_input"].format(instruction=instruction)

# Example usage
instruction_example = "以下のトピックに関する詳細な情報を提供してください。"
input_example = "東京工業大学の主なキャンパスについて教えてください"
prompt = create_prompt(instruction_example, input_example)

input_ids = tokenizer.encode(
    prompt,
    add_special_tokens=False,
    return_tensors="pt"
)

tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    temperature=0.99,
    top_p=0.95,
    do_sample=True,
)

out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

🔧 使用基础模型

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "tokyotech-llm/Swallow-7b-hf"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")

prompt = "東京工業大学の主なキャンパスは、"
input_ids = tokenizer.encode(
    prompt,
    add_special_tokens=False,
    return_tensors="pt"
)
tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    temperature=0.99,
    top_p=0.95,
    do_sample=True,
)

out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

✨ 主要特性

• 多语言支持：支持日语和英语两种语言。
• 持续预训练：基于Llama 2系列进行持续预训练，增加了日语数据。
• 微调版本：提供监督微调（SFT）版本，以更好地适应特定任务。

📦 安装指南

首先，安装requirements.txt中的额外依赖项：

pip install -r requirements.txt

💻 使用示例

基础用法

使用指令模型的示例代码如下：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "tokyotech-llm/Swallow-7b-instruct-hf"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, low_cpu_mem_usage=True, device_map="auto")


PROMPT_DICT = {
    "prompt_input": (
        "以下に、あるタスクを説明する指示があり、それに付随する入力が更なる文脈を提供しています。"
        "リクエストを適切に完了するための回答を記述してください。\n\n"
        "### 指示:\n{instruction}\n\n### 入力:\n{input}\n\n### 応答:"

    ),
    "prompt_no_input": (
        "以下に、あるタスクを説明する指示があります。"
        "リクエストを適切に完了するための回答を記述してください。\n\n"
        "### 指示:\n{instruction}\n\n### 応答:"
    ),
}

def create_prompt(instruction, input=None):
    """
    Generates a prompt based on the given instruction and an optional input.
    If input is provided, it uses the 'prompt_input' template from PROMPT_DICT.
    If no input is provided, it uses the 'prompt_no_input' template.

    Args:
        instruction (str): The instruction describing the task.
        input (str, optional): Additional input providing context for the task. Default is None.

    Returns:
        str: The generated prompt.
    """
    if input:
        # Use the 'prompt_input' template when additional input is provided
        return PROMPT_DICT["prompt_input"].format(instruction=instruction, input=input)
    else:
        # Use the 'prompt_no_input' template when no additional input is provided
        return PROMPT_DICT["prompt_no_input"].format(instruction=instruction)

# Example usage
instruction_example = "以下のトピックに関する詳細な情報を提供してください。"
input_example = "東京工業大学の主なキャンパスについて教えてください"
prompt = create_prompt(instruction_example, input_example)

input_ids = tokenizer.encode(
    prompt,
    add_special_tokens=False,
    return_tensors="pt"
)

tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    temperature=0.99,
    top_p=0.95,
    do_sample=True,
)

out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

高级用法

使用基础模型的示例代码如下：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "tokyotech-llm/Swallow-7b-hf"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")

prompt = "東京工業大学の主なキャンパスは、"
input_ids = tokenizer.encode(
    prompt,
    add_special_tokens=False,
    return_tensors="pt"
)
tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    temperature=0.99,
    top_p=0.95,
    do_sample=True,
)

out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

📚 详细文档

模型发布更新

• 2024年4月26日：发布增强指令微调模型的0.1版本：Swallow-7b-instruct-v0.1、Swallow-13b-instruct-v0.1和Swallow-70b-instruct-v0.1作为预览版本。
• 2024年3月2日：发布Swallow-7b-plus-hf，该模型使用的日语标记数量约为Swallow-7b-hf的两倍。
• 2024年2月4日：发布Swallow-13b-NVE-hf。
• 2024年1月26日：发布Swallow-7b-NVE-hf、Swallow-7b-NVE-instruct-hf、Swallow-70b-NVE-hf和Swallow-70b-NVE-instruct-hf。
• 2023年12月19日：发布Swallow-7b-hf、Swallow-7b-instruct-hf、Swallow-13b-hf、Swallow-13b-instruct-hf、Swallow-70b-hf和Swallow-70b-instruct-hf。

Swallow模型索引

Swallow模型索引NVE（无词汇扩展）

模型详情

基础模型性能

日语任务

英语任务

评估基准

日语评估基准

我们使用了llm-jp-eval(v1.0.0)和JP Language Model Evaluation Harness(提交编号 #9b42d41)。详情如下：

• 多项选择题回答（JCommonsenseQA [Kurihara+，2022]）
• 开放式问题回答（JEMHopQA [Ishii+，2023]）
• 开放式问题回答（NIILC [Sekine，2003]）
• 机器阅读理解（JSQuAD [Kurihara+，2022]）
• 自动摘要（XL-Sum [Hasan+，2021]）
• 机器翻译（WMT2020 ja - en [Barrault+，2020]）
• 机器翻译（WMT2020 en - ja [Barrault+，2020]）
• 数学推理（MGSM [Shi+，2023]）

英语评估基准

我们使用了Language Model Evaluation Harness(v.0.3.0)。详情如下：

• 多项选择题回答（OpenBookQA [Mihaylov+，2018]）
• 开放式问题回答（TriviaQA [Joshi+，2017]）
• 机器阅读理解（SQuAD 2.0 [Rajpurkar+，2018]）
• 常识推理（XWINO [Tikhonov & Ryabinin，2021]）
• 自然语言推理（HellaSwag [Zellers+，2019]）
• 数学推理（GSM8k [Cobbe+，2021]）

训练数据集

持续预训练

以下数据集用于持续预训练：

• 日语维基百科
• RefinedWeb
• Swallow语料库
• The Pile

指令微调

以下数据集用于指令微调：

• Anthropic HH - RLHF
• Databricks Dolly 15 - k
• OpenAssistant对话数据集

🔧 技术细节

本项目基于Llama 2系列进行持续预训练，增加了日语数据，并使用监督微调（SFT）技术进行微调。模型采用了基于日语数据扩展词汇表的分词器，能够使用更少的标记更高效地表示文本，从而显著加快推理过程。

📄 许可证

Llama 2遵循LLAMA 2社区许可证，版权所有 © Meta Platforms, Inc. 保留所有权利。

👥 作者

冈崎实验室

• 冈崎直明
• 水树栄
• 饭田弘树
• 林孟赛
• 平井翔太
• 服部駆
• 大井正成

横田实验室

• 横田理央
• 藤井和树
• 中村大志

📝 如何引用

如果你觉得我们的工作有帮助，请随意引用：

@inproceedings{Fujii:COLM2024,
   title={Continual Pre-Training for Cross-Lingual LLM Adaptation:
Enhancing Japanese Language Capabilities},
   author={Kazuki Fujii and Taishi Nakamura and Mengsay Loem and Hiroki
Iida and Masanari Ohi and Kakeru Hattori and Hirai Shota and Sakae
Mizuki and Rio Yokota and Naoaki Okazaki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

@inproceedings{Okazaki:COLM2024,
   title={Building a Large Japanese Web Corpus for Large Language Models},
   author={Naoaki Okazaki and Kakeru Hattori and Hirai Shota and Hiroki
Iida and Masanari Ohi and Kazuki Fujii and Taishi Nakamura and Mengsay
Loem and Rio Yokota and Sakae Mizuki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

⚠️ 风险与限制

此处发布的模型仍处于我们研究和开发的早期阶段，尚未进行调整以确保输出符合人类意图和安全考虑。

🙏 致谢

我们感谢Meta Research以开放许可证发布Llama 2，以便他人在此基础上进行开发。

我们的项目得到了国立先进工业科学技术研究所ABCI大规模语言模型构建支持计划的支持。