Llama 3.1 Swallow 8B Instruct V0.3

🚀 Llama 3.1 Swallow - 基於Llama構建

Llama 3.1 Swallow是一系列大語言模型（8B、70B），通過在Meta Llama 3.1模型上進行持續預訓練構建而成。該系列模型在保留英文能力的同時，增強了原版Llama 3.1的日語能力。我們使用了大約2000億個標記進行持續預訓練，這些標記採樣自大型日語網絡語料庫（Swallow語料庫版本2）、日英維基百科文章以及數學和編碼內容等（詳見基礎模型的訓練數據集部分）。指令微調模型（Instruct）則是通過在專門為日語構建的合成數據上進行監督微調（SFT）構建而成。查看Swallow模型索引部分，可找到其他模型變體。

注意：Llama-3.1-Swallow-8B-Instruct-v0.3模型是在meta-llama/Llama-3.1-8B-Instruct的基礎上進行持續預訓練，然後使用我們的指令數據集進行指令微調得到的。

🚀 快速開始

安裝依賴

pip install vllm

代碼示例

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "tokyotech-llm/Llama-3.1-Swallow-8B-Instruct-v0.3"

tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(
    model=model_name,
    tensor_parallel_size=1,
)

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512, stop="<|eot_id|>"
)


message = [
    {"role": "system", "content": "あなたは誠実で優秀な日本人のアシスタントです。"},
    {
        "role": "user",
        "content": "東京の紅葉した公園で、東京タワーと高層ビルを背景に、空を舞うツバメと草地に佇むラマが出會う溫かな物語を書いてください。",
    },
]
prompt = tokenizer.apply_chat_template(
    message, tokenize=False, add_generation_prompt=True
)

output = llm.generate(prompt, sampling_params)

print(output[0].outputs[0].text)

✨ 主要特性

• 語言能力增強：在保留英文能力的同時，顯著提升了日語能力。
• 持續預訓練：使用約2000億個標記進行持續預訓練，涵蓋多種類型的數據。
• 指令微調：通過監督微調構建指令微調模型，更好地響應指令。

📦 安裝指南

安裝依賴庫：

pip install vllm

💻 使用示例

基礎用法

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "tokyotech-llm/Llama-3.1-Swallow-8B-Instruct-v0.3"

tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(
    model=model_name,
    tensor_parallel_size=1,
)

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512, stop="<|eot_id|>"
)


message = [
    {"role": "system", "content": "あなたは誠実で優秀な日本人のアシスタントです。"},
    {
        "role": "user",
        "content": "東京の紅葉した公園で、東京タワーと高層ビルを背景に、空を舞うツバメと草地に佇むラマが出會う溫かな物語を書いてください。",
    },
]
prompt = tokenizer.apply_chat_template(
    message, tokenize=False, add_generation_prompt=True
)

output = llm.generate(prompt, sampling_params)

print(output[0].outputs[0].text)

📚 詳細文檔

發佈歷史

• 2024年12月23日：發佈Llama-3.1-Swallow-8B-Instruct-v0.3。
• 2024年11月11日：發佈Llama-3.1-Swallow-8B-v0.2和Llama-3.1-Swallow-8B-Instruct-v0.2。
• 2024年10月8日：發佈Llama-3.1-Swallow-8B-v0.1、Llama-3.1-Swallow-8B-Instruct-v0.1、Llama-3.1-Swallow-70B-v0.1和Llama-3.1-Swallow-70B-Instruct-v0.1。

重大更新

本次發佈增強了Llama 3.1 Swallow的對話能力。更新後的模型Llama-3.1-Swallow-8B-Instruct-v0.3能夠根據用戶指令和對話歷史生成有用且詳細的響應。在所有參數小於等於80億的開源大語言模型中，Llama-3.1-Swallow-8B-Instruct-v0.3在日語MT-Bench上表現出最先進的性能，比其前身Llama-3.1-Swallow-8B-Instruct-v0.2高出8.4分。

Swallow模型索引

模型詳情

模型性能

MT-Bench JA

日語任務

英語任務

評估基準

MT-Bench JA

我們使用日語MT-Bench評估多輪對話能力，設置如下：

• 實現方式：FastChat [Zheng+，2023]（提交編號#e86e70d0）
• 問題：Nejumi LLM-Leaderboard NEO，mtbench_ja_question_v3
• 參考答案：Nejumi LLM-Leaderboard NEO，mtbench_ja_referenceanswer_v1
• 評判提示：Nejumi LLM-Leaderboard NEO，mtbench_ja_prompt_v1
• 評判模型：gpt-4-1106-preview
• 評分方式：絕對尺度歸一化到0 - 1範圍，五次運行取平均值。

日語評估基準

我們使用了llm-jp-eval(v1.3.0)、JP Language Model Evaluation Harness（提交編號#9b42d41）和Code Generation LM Evaluation Harness（提交編號#0261c52）。詳情如下：

• 多項選擇題回答（JCommonsenseQA [Kurihara等人，2022]）
• 開放式問題回答（JEMHopQA [Ishii等人，2024]）
• 開放式問題回答（NIILC [関根，2003]）
• 機器閱讀理解（JSQuAD [Kurihara等人，2022]）
• 自動摘要（XL-Sum [Hasan等人，2021]）
• 機器翻譯（WMT2020 ja-en [Barrault等人，2020]）
• 機器翻譯（WMT2020 en-ja [Barrault等人，2020]）
• 數學推理（MGSM [Shi等人，2023]）
• 學術考試（JMMLU [尹ら，2024]）
• 代碼生成（JHumanEval [佐藤ら，2024]）

英語評估基準

我們使用了Language Model Evaluation Harness（v.0.4.2）和Code Generation LM Evaluation Harness（提交編號#0261c52）。詳情如下：

• 多項選擇題回答（OpenBookQA [Mihaylov等人，2018]）
• 開放式問題回答（TriviaQA [Joshi等人，2017]）
• 機器閱讀理解（SQuAD2 [Rajpurkar等人，2018]）
• 常識推理（XWINO [Tikhonov和Ryabinin，2021]）
• 自然語言推理（HellaSwag [Zellers等人，2019]）
• 數學推理（GSM8K [Cobbe等人，2021]）
• 推理（BBH（BIG-Bench-Hard）[Suzgun等人，2023]）
• 學術考試（MMLU [Hendrycks等人，2021]）
• 代碼生成（HumanEval [Chen等人，2021]）

訓練數據集

指令微調

以下數據集用於指令微調：

• Gemma-2-LMSYS-Chat-1M-Synth
  • 從lmsys-chat-1m合成和派生的多輪日語指令數據集 [Zhang+，ICLR24]。
  • 首輪用戶指令通過DeepL（機器翻譯）翻譯成日語，助手響應使用gemma-2-27b-it生成。同一模型，即gemma-2-27b-it作為拒絕採樣的評判模型（n = 6）。
  • 第二輪用戶指令和響應使用gemma-2-27b-it合成。同一模型對第二輪響應的質量進行評分，範圍為1 - 10。得分低於9的第二輪響應及其對應的指令被拒絕。
  • 移除包含個人身份信息（PII）和基於模板的用戶指令的對話。移除重複指令。
• Swallow-Magpie-Ultra-v0.1
  • filtered-magpie-ultra-en數據集的日語變體，由gemma-2-27b-it翻譯成日語。
• Swallow-Gemma-Magpie-v0.1
  • 從頭開始生成的日語合成指令微調數據集，由gemma-2-27b-it生成。用戶指令使用針對每個主題的特定提示創建，助手響應針對這些指令生成。
  • 對話通過啟發式方法進行質量和長度過濾。然後，使用gemma-2-27b-it對每個對話的質量進行評分，範圍為1 - 10。得分小於等於7的對話被拒絕。

🔧 技術細節

模型架構

請參考Llama 3.1 MODEL_CARD瞭解模型架構詳情。

分詞器

請參考Llama 3.1博客瞭解分詞器詳情。

📄 許可證

META LLAMA 3.1 COMMUNITY LICENSE和Gemma Terms of Use

致謝

我們感謝Meta Research以寬鬆的開放許可證發佈Llama 3.1。

我們獲得了以下各種支持：

• AIST項目：“物理領域生成式AI基礎模型的研究與開發”
• NEDO項目：“基於熟練人員視角的設計風險評估工作中支持判斷的人工智能應用技術開發”（JPNP18002），屬於“下一代人工智能和機器人核心集成技術開發”項目
• MEXT項目：“生成式AI模型透明度和可靠性保障研發中心的形成”
• AIST計劃：大型生成式AI開發支持計劃

作者

以下是團隊成員：

• 來自東京工業大學岡崎實驗室的成員：
  • 岡崎直明
  • 水樹栄
  • 馬悠米
  • 前田航輝
  • 服部駆
  • 大井將成
  • 島田日成
  • 塩谷大平
  • 齋藤浩志郎
• 來自東京工業大學橫田實驗室的成員：
  • 橫田梨央
  • 藤井和樹
  • 中村大史
  • 岡本匠
  • 石田重樹
• 來自日本產業技術綜合研究所人工智能研究中心的成員：
  • 高村浩也

如何引用

如果您覺得我們的工作有幫助，請隨時引用這些論文。

@inproceedings{Fujii:COLM2024,
   title={Continual Pre-Training for Cross-Lingual LLM Adaptation:
Enhancing Japanese Language Capabilities},
   author={Kazuki Fujii and Taishi Nakamura and Mengsay Loem and Hiroki
Iida and Masanari Ohi and Kakeru Hattori and Hirai Shota and Sakae
Mizuki and Rio Yokota and Naoaki Okazaki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

@inproceedings{Okazaki:COLM2024,
   title={Building a Large Japanese Web Corpus for Large Language Models},
   author={Naoaki Okazaki and Kakeru Hattori and Hirai Shota and Hiroki
Iida and Masanari Ohi and Kazuki Fujii and Taishi Nakamura and Mengsay
Loem and Rio Yokota and Sakae Mizuki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

@misc{ma:arxiv2025,
      title={Building Instruction-Tuning Datasets from Human-Written Instructions with Open-Weight Large Language Models}, 
      author={Youmi Ma and Sakae Mizuki and Kazuki Fujii and Taishi Nakamura and Masanari Ohi and Hinari Shimada and Taihei Shiotani and Koshiro Saito and Koki Maeda and Kakeru Hattori and Takumi Okamoto and Shigeki Ishida and Rio Yokota and Hiroya Takamura and Naoaki Okazaki},
      year={2025},
      eprint={2503.23714},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2503.23714}, 
}

參考文獻

@misc{dubey2024llama3herdmodels,
      title={The Llama 3 Herd of Models}, 
      author={Abhimanyu Dubey and Abhinav Jauhri and Abhinav Pandey and Abhishek Kadian and Ahmad Al-Dahle and Aiesha Letman and Akhil Mathur and Alan Schelten and Amy Yang and Angela Fan et al.},
      year={2024},
      eprint={2407.21783},
      archivePrefix={arXiv},
      primaryClass={cs.AI},
      url={https://arxiv.org/abs/2407.21783}, 
}

風險與限制

此處發佈的模型仍處於我們研究和開發的早期階段，尚未進行調整以確保輸出符合人類意圖和安全考慮。

網站https://swallow-llm.github.io/提供了Swallow團隊開發的大語言模型。