Llama 3 Swallow 8B Instruct V0.1

🚀 Llama3 Swallow - 基於Meta Llama 3構建

Llama3 Swallow模型基於 Llama 3系列 進行持續預訓練，主要增加了日語數據。指令版本使用了監督微調（SFT）和聊天向量技術。其他模型的鏈接可在索引中找到。

🚀 快速開始

pip install vllm

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "tokyotech-llm/Llama-3-Swallow-8B-Instruct-v0.1"

tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(
    model=model_name,
    tensor_parallel_size=1,
)

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512, stop="<|eot_id|>"
)


message = [
    {"role": "system", "content": "あなたは誠実で優秀な日本人のアシスタントです。"},
    {
        "role": "user",
        "content": "東京の夜空に打ち上がっている花火の下、向かい合っている燕とラマの溫かい物語を書いてください。",
    },
]
prompt = tokenizer.apply_chat_template(
    message, tokenize=False, add_generation_prompt=True
)

output = llm.generate(prompt, sampling_params)

print(output[0].outputs[0].text)

✨ 主要特性

• 多語言支持：支持日語和英語，能夠處理不同語言的任務。
• 持續預訓練：基於Llama 3系列進行持續預訓練，增強了模型的性能。
• 指令微調：使用監督微調（SFT）和聊天向量技術，提升了模型的指令跟隨能力。

📦 安裝指南

使用以下命令安裝所需庫：

pip install vllm

💻 使用示例

基礎用法

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "tokyotech-llm/Llama-3-Swallow-8B-Instruct-v0.1"

tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(
    model=model_name,
    tensor_parallel_size=1,
)

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512, stop="<|eot_id|>"
)


message = [
    {"role": "system", "content": "あなたは誠実で優秀な日本人のアシスタントです。"},
    {
        "role": "user",
        "content": "東京の夜空に打ち上がっている花火の下、向かい合っている燕とラマの溫かい物語を書いてください。",
    },
]
prompt = tokenizer.apply_chat_template(
    message, tokenize=False, add_generation_prompt=True
)

output = llm.generate(prompt, sampling_params)

print(output[0].outputs[0].text)

📚 詳細文檔

模型詳情

模型性能

日語任務

英語任務

MT-Bench JA

評估基準

日語評估基準

我們使用了llm-jp-eval(v1.3.0)、JP Language Model Evaluation Harness(提交編號 #9b42d41) 和 Code Generation LM Evaluation Harness(提交編號 #0261c52)。詳情如下：

• 多項選擇題回答（JCommonsenseQA [Kurihara等人，2022]）
• 開放式問題回答（JEMHopQA [Ishii等人，2024]）
• 開放式問題回答（NIILC [関根，2003]）
• 機器閱讀理解（JSQuAD [Kurihara等人，2022]）
• 自動摘要（XL-Sum [Hasan等人，2021]）
• 機器翻譯（WMT2020 ja-en [Barrault等人，2020]）
• 機器翻譯（WMT2020 en-ja [Barrault等人，2020]）
• 數學推理（MGSM [Shi等人，2023]）
• 學術考試（JMMLU [尹ら，2024]）
• 代碼生成（JHumanEval [佐藤ら，2024]）

英語評估基準

我們使用了Language Model Evaluation Harness(v.0.4.2) 和 Code Generation LM Evaluation Harness(提交編號 #0261c52)。詳情如下：

• 多項選擇題回答（OpenBookQA [Mihaylov等人，2018]）
• 開放式問題回答（TriviaQA [Joshi等人，2017]）
• 機器閱讀理解（SQuAD2 [Rajpurkar等人，2018]）
• 常識推理（XWINO [Tikhonov和Ryabinin，2021]）
• 自然語言推理（HellaSwag [Zellers等人，2019]）
• 數學推理（GSM8K [Cobbe等人，2021]）
• 推理（BBH (BIG-Bench-Hard) [Suzgun等人，2023]）
• 學術考試（MMLU [Hendrycks等人，2021]）
• 代碼生成（HumanEval [Chen等人，2021]）

MT-Bench JA

我們使用 Japanese MT-Bench 評估模型的指令跟隨能力。我們使用了以下設置：

• 實現方式：FastChat [Zheng+，2023]（提交編號 #e86e70d0）
• 問題：Nejumi LLM-Leaderboard NEO, mtbench_ja_question_v3
• 參考答案：Nejumi LLM-Leaderboard NEO, mtbench_ja_referenceanswer_v1
• 評判提示：Nejumi LLM-Lederboard NEO, mtbench_ja_prompt_v1
• 評判模型：gpt-4-1106-preview
• 評分方式：絕對尺度歸一化到0 - 1範圍，五次運行取平均值。

訓練數據集

指令微調

以下數據集用於指令微調：

• OpenAssistant Conversations Dataset EN top-1 thread
• OpenAssistant Conversations Dataset，使用其中的人類發言，但不使用回覆。回覆使用 Mixtral-8x7B-Instruct-v0.1 模型生成。

🔧 技術細節

本項目基於 Megatron-LM 庫進行開發，模型架構請參考 Llama 3 MODEL_CARD，分詞器詳情請參考 Llama 3博客。

📄 許可證

META LLAMA 3 COMMUNITY LICENSE

作者

以下是團隊成員：

• 來自 東京工業大學岡崎實驗室 的成員：
  • 岡崎直明
  • 水樹栄
  • 馬悠米
  • 前田航輝
  • 服部佳輝
  • 大井正成
  • 塩谷太平
  • 齋藤浩志郎
• 來自 東京工業大學橫田實驗室 的成員：
  • 橫田理央
  • 藤井和樹
  • 中村大史
  • 岡本匠
  • 石田重樹
• 來自 日本產業技術綜合研究所人工智能研究中心 的成員：
  • 高村宏也

如何引用

如果您覺得我們的工作有幫助，請隨意引用我們：

@inproceedings{Fujii:COLM2024,
   title={Continual Pre-Training for Cross-Lingual LLM Adaptation:
Enhancing Japanese Language Capabilities},
   author={Kazuki Fujii and Taishi Nakamura and Mengsay Loem and Hiroki
Iida and Masanari Ohi and Kakeru Hattori and Hirai Shota and Sakae
Mizuki and Rio Yokota and Naoaki Okazaki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

@inproceedings{Okazaki:COLM2024,
   title={Building a Large Japanese Web Corpus for Large Language Models},
   author={Naoaki Okazaki and Kakeru Hattori and Hirai Shota and Hiroki
Iida and Masanari Ohi and Kazuki Fujii and Taishi Nakamura and Mengsay
Loem and Rio Yokota and Sakae Mizuki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

引用文獻

@article{llama3modelcard,
    title={Llama 3 Model Card},
    author={AI@Meta},
    year={2024},
    url = {https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}

致謝

感謝Meta Research以開放許可協議發佈Llama 3，使我們能夠在此基礎上進行開發。

我們的項目得到了日本產業技術綜合研究所 大型生成式AI開發支持計劃 的支持。

⚠️ 重要提示

此處發佈的模型仍處於研究和開發的早期階段，尚未進行調整以確保輸出符合人類意圖和安全考慮。

💡 使用建議

在使用模型時，請根據實際需求選擇合適的模型大小和參數設置，以獲得最佳性能。