Llama 3 Swallow 8B Instruct V0.1

🚀 Llama3 Swallow - 基于Meta Llama 3构建

Llama3 Swallow模型基于 Llama 3系列 进行持续预训练，主要增加了日语数据。指令版本使用了监督微调（SFT）和聊天向量技术。其他模型的链接可在索引中找到。

🚀 快速开始

pip install vllm

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "tokyotech-llm/Llama-3-Swallow-8B-Instruct-v0.1"

tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(
    model=model_name,
    tensor_parallel_size=1,
)

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512, stop="<|eot_id|>"
)


message = [
    {"role": "system", "content": "あなたは誠実で優秀な日本人のアシスタントです。"},
    {
        "role": "user",
        "content": "東京の夜空に打ち上がっている花火の下、向かい合っている燕とラマの温かい物語を書いてください。",
    },
]
prompt = tokenizer.apply_chat_template(
    message, tokenize=False, add_generation_prompt=True
)

output = llm.generate(prompt, sampling_params)

print(output[0].outputs[0].text)

✨ 主要特性

• 多语言支持：支持日语和英语，能够处理不同语言的任务。
• 持续预训练：基于Llama 3系列进行持续预训练，增强了模型的性能。
• 指令微调：使用监督微调（SFT）和聊天向量技术，提升了模型的指令跟随能力。

📦 安装指南

使用以下命令安装所需库：

pip install vllm

💻 使用示例

基础用法

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "tokyotech-llm/Llama-3-Swallow-8B-Instruct-v0.1"

tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(
    model=model_name,
    tensor_parallel_size=1,
)

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512, stop="<|eot_id|>"
)


message = [
    {"role": "system", "content": "あなたは誠実で優秀な日本人のアシスタントです。"},
    {
        "role": "user",
        "content": "東京の夜空に打ち上がっている花火の下、向かい合っている燕とラマの温かい物語を書いてください。",
    },
]
prompt = tokenizer.apply_chat_template(
    message, tokenize=False, add_generation_prompt=True
)

output = llm.generate(prompt, sampling_params)

print(output[0].outputs[0].text)

📚 详细文档

模型详情

模型性能

日语任务

英语任务

MT-Bench JA

评估基准

日语评估基准

我们使用了llm-jp-eval(v1.3.0)、JP Language Model Evaluation Harness(提交编号 #9b42d41) 和 Code Generation LM Evaluation Harness(提交编号 #0261c52)。详情如下：

• 多项选择题回答（JCommonsenseQA [Kurihara等人，2022]）
• 开放式问题回答（JEMHopQA [Ishii等人，2024]）
• 开放式问题回答（NIILC [関根，2003]）
• 机器阅读理解（JSQuAD [Kurihara等人，2022]）
• 自动摘要（XL-Sum [Hasan等人，2021]）
• 机器翻译（WMT2020 ja-en [Barrault等人，2020]）
• 机器翻译（WMT2020 en-ja [Barrault等人，2020]）
• 数学推理（MGSM [Shi等人，2023]）
• 学术考试（JMMLU [尹ら，2024]）
• 代码生成（JHumanEval [佐藤ら，2024]）

英语评估基准

我们使用了Language Model Evaluation Harness(v.0.4.2) 和 Code Generation LM Evaluation Harness(提交编号 #0261c52)。详情如下：

• 多项选择题回答（OpenBookQA [Mihaylov等人，2018]）
• 开放式问题回答（TriviaQA [Joshi等人，2017]）
• 机器阅读理解（SQuAD2 [Rajpurkar等人，2018]）
• 常识推理（XWINO [Tikhonov和Ryabinin，2021]）
• 自然语言推理（HellaSwag [Zellers等人，2019]）
• 数学推理（GSM8K [Cobbe等人，2021]）
• 推理（BBH (BIG-Bench-Hard) [Suzgun等人，2023]）
• 学术考试（MMLU [Hendrycks等人，2021]）
• 代码生成（HumanEval [Chen等人，2021]）

MT-Bench JA

我们使用 Japanese MT-Bench 评估模型的指令跟随能力。我们使用了以下设置：

• 实现方式：FastChat [Zheng+，2023]（提交编号 #e86e70d0）
• 问题：Nejumi LLM-Leaderboard NEO, mtbench_ja_question_v3
• 参考答案：Nejumi LLM-Leaderboard NEO, mtbench_ja_referenceanswer_v1
• 评判提示：Nejumi LLM-Lederboard NEO, mtbench_ja_prompt_v1
• 评判模型：gpt-4-1106-preview
• 评分方式：绝对尺度归一化到0 - 1范围，五次运行取平均值。

训练数据集

指令微调

以下数据集用于指令微调：

• OpenAssistant Conversations Dataset EN top-1 thread
• OpenAssistant Conversations Dataset，使用其中的人类发言，但不使用回复。回复使用 Mixtral-8x7B-Instruct-v0.1 模型生成。

🔧 技术细节

本项目基于 Megatron-LM 库进行开发，模型架构请参考 Llama 3 MODEL_CARD，分词器详情请参考 Llama 3博客。

📄 许可证

META LLAMA 3 COMMUNITY LICENSE

作者

以下是团队成员：

• 来自 东京工业大学冈崎实验室 的成员：
  • 冈崎直明
  • 水树栄
  • 马悠米
  • 前田航辉
  • 服部佳辉
  • 大井正成
  • 塩谷太平
  • 斋藤浩志郎
• 来自 东京工业大学横田实验室 的成员：
  • 横田理央
  • 藤井和树
  • 中村大史
  • 冈本匠
  • 石田重树
• 来自 日本产业技术综合研究所人工智能研究中心 的成员：
  • 高村宏也

如何引用

如果您觉得我们的工作有帮助，请随意引用我们：

@inproceedings{Fujii:COLM2024,
   title={Continual Pre-Training for Cross-Lingual LLM Adaptation:
Enhancing Japanese Language Capabilities},
   author={Kazuki Fujii and Taishi Nakamura and Mengsay Loem and Hiroki
Iida and Masanari Ohi and Kakeru Hattori and Hirai Shota and Sakae
Mizuki and Rio Yokota and Naoaki Okazaki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

@inproceedings{Okazaki:COLM2024,
   title={Building a Large Japanese Web Corpus for Large Language Models},
   author={Naoaki Okazaki and Kakeru Hattori and Hirai Shota and Hiroki
Iida and Masanari Ohi and Kazuki Fujii and Taishi Nakamura and Mengsay
Loem and Rio Yokota and Sakae Mizuki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

引用文献

@article{llama3modelcard,
    title={Llama 3 Model Card},
    author={AI@Meta},
    year={2024},
    url = {https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}

致谢

感谢Meta Research以开放许可协议发布Llama 3，使我们能够在此基础上进行开发。

我们的项目得到了日本产业技术综合研究所 大型生成式AI开发支持计划 的支持。

⚠️ 重要提示

此处发布的模型仍处于研究和开发的早期阶段，尚未进行调整以确保输出符合人类意图和安全考虑。

💡 使用建议

在使用模型时，请根据实际需求选择合适的模型大小和参数设置，以获得最佳性能。